具備容n-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種具備容N-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng)，該系統(tǒng)包括分布式儲存控制管理單元，分布式儲存控制管理單元分別與依次連接的[48,24,12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48,24,12]擴(kuò)展平方剩余碼的譯碼處理單元相連。該系統(tǒng)采用[48,24,12]擴(kuò)展平方剩余碼編譯碼技術(shù)、哈希函數(shù)摘要技術(shù)，允許同時發(fā)生任意≤5個存儲媒介失效，具備N-5容失效性，解決電力大數(shù)據(jù)云儲存系統(tǒng)存儲容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化問題，保護(hù)數(shù)據(jù)安全，且保障數(shù)據(jù)具有一定的私密性和完整性，以推進(jìn)電力大數(shù)據(jù)云儲存系統(tǒng)的建設(shè)和發(fā)展。
【專利說明】具備容N-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明應(yīng)用于電力行業(yè)中的系統(tǒng)，具體涉及具備容N-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng)。
【背景技術(shù)】
[0002]隨著現(xiàn)代社會工業(yè)化、信息化水平的不斷提高，數(shù)據(jù)已經(jīng)取代計算成為了信息計算的中心，云計算、大數(shù)據(jù)正在成為一種趨勢和潮流。進(jìn)而促使對存儲技術(shù)的需求越來越高，包括存儲容量、可用性、I/o性能、數(shù)據(jù)安全性、可擴(kuò)展性等諸多方面。
[0003]電力系統(tǒng)數(shù)據(jù)儲存系統(tǒng)相當(dāng)于電力系統(tǒng)的神經(jīng)中樞大腦。其存儲媒介單元失效，造成數(shù)據(jù)丟失，將直接影響發(fā)電、輸電、變電、配電、用電、調(diào)度系統(tǒng)的安全、平穩(wěn)、可靠地運(yùn)行。電力系統(tǒng)數(shù)據(jù)儲存系統(tǒng)中存儲媒介單元的失效概率相對較高，面臨N-5挑戰(zhàn)，N-5表示存儲媒介單元中允許同時發(fā)生任意< 5個存儲媒介單元失效。
[0004]“失效”是可靠的反義詞，產(chǎn)品的可靠度R(t)指時間t內(nèi)還能滿足規(guī)定功能產(chǎn)品的比率，累積失效概率F(t)為時間t內(nèi)的不可靠度，SP F(t) = l-R(t)?！笆А?，按后果分類包括:部分失效、完全失效、輕度失效、危險性(嚴(yán)重)失效、災(zāi)難性(致命)失效；按失效的時間特征分類包括:早期失效、耗損期失效、漸進(jìn)(漸變)失效、間歇失效；按失效的可能原因分類包括:錯誤、遺漏、沒有或僅部分動作、產(chǎn)生危險、有障礙。
[0005]云計算(Cloud Computing)是一種通過網(wǎng)絡(luò)統(tǒng)一組織和靈活調(diào)用各種信息通信資源，實(shí)現(xiàn)大規(guī)模計算的信息處理方式。云計算利用分布式計算和虛擬資源管理等技術(shù)，通過網(wǎng)絡(luò)將分散的信息通信資源(包括計算與存儲、應(yīng)用運(yùn)行平臺、軟件等)集中起來形成共享的資源池，并以動態(tài)按需和可度量的方式向用戶提供服務(wù)。其中，云儲存通過網(wǎng)絡(luò)將分散的儲存資源集中起來形成共享的存儲資源池，并以動態(tài)按需和可度量的方式向用戶提供服務(wù)。云儲存中存儲媒介單元的失效概率相對較高，面臨N-5挑戰(zhàn)。同時，云儲存面臨信息存儲的私密性和完整性的挑戰(zhàn)。
[0006]大數(shù)據(jù)(Big Data)，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。從體量特征和技術(shù)范疇來講，電力大數(shù)據(jù)則是大數(shù)據(jù)在電力行業(yè)的聚焦和子集。電力大數(shù)據(jù)的特征可以概括為4 “V”3 “E”。其中，4 “V”特征分別是體量大(Volume)、類型多(Variety)、商業(yè)價值高(Value)和速度快(Velocity),3 “E”特征分別是電力特征(Electricity)、能量特征(Energy)、交互特征(Exchange)。
[0007]大數(shù)據(jù)是“未來的新石油”，大數(shù)據(jù)是待挖掘的“金礦”，大數(shù)據(jù)被譽(yù)為“第三次工業(yè)革命浪潮的華彩樂章”的根本。電力大數(shù)據(jù)將貫穿電力工業(yè)生產(chǎn)及管理等環(huán)節(jié)，將起到巨大的作用，是電力工業(yè)未來有效應(yīng)對資源有限、環(huán)境壓力等問題，實(shí)現(xiàn)厚積厚發(fā)、綠色可持續(xù)性發(fā)展的關(guān)鍵。電力大數(shù)據(jù)云儲存系統(tǒng)面臨容故障能力和擴(kuò)展性的挑戰(zhàn)。
[0008]對比目前的數(shù)據(jù)儲存系統(tǒng)，采用鏡像(Miiroring)技術(shù)僅具備容N_1存儲媒介失效(存儲媒介單元中允許同時發(fā)生任意< I個存儲媒介單元失效)，且可用容量僅50% ；采用數(shù)據(jù)條帶(Data Stripping)和數(shù)據(jù)奇偶校驗(Data odd-even parity)技術(shù)僅具備容N-2存儲媒介失效(存儲媒介單元中允許同時發(fā)生任意< 2個存儲媒介單元失效)。

【發(fā)明內(nèi)容】

[0009]為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供具備容N-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng)，采用[48，24，12]擴(kuò)展平方剩余碼編譯碼技術(shù)、哈希函數(shù)摘要技術(shù)，允許同時發(fā)生任意< 5個存儲媒介失效(即N-5)，滿足容N-5存儲媒介失效的能力，解決電力大數(shù)據(jù)云儲存系統(tǒng)存儲容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化問題，保護(hù)數(shù)據(jù)安全，且保障數(shù)據(jù)具有一定的私密性和完整性，以推進(jìn)電力大數(shù)據(jù)云儲存系統(tǒng)的建設(shè)和發(fā)展。
[0010]實(shí)現(xiàn)上述目的所采用的解決方案為:
[0011]—種具備容N-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng),其改進(jìn)之處在于:所述系統(tǒng)包括依次連接的[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處
理單元；
[0012]分布式儲存控制管理單元分別與所述編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和譯碼處理單元連接，a為正整數(shù)。
[0013]進(jìn)一步的，所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元；
[0014]寫入控制管理單元分別與所述電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元連接。
[0015]進(jìn)一步的，所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元；
[0016]讀出控制管理單元分別與所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元連接。
[0017]進(jìn)一步的，所述分布式儲存控制管理單元為所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元提供時鐘信號；
[0018]所述分布式儲存控制管理單元根據(jù)待存儲的電力大數(shù)據(jù)塊的大小確定所述a行48列的存儲媒介陣列中的存儲媒介單元的容量大小，所述a行48列的存儲媒介陣列中的每行均對應(yīng)一個[48，24，12]擴(kuò)展平方剩余碼的碼組，a為正整數(shù)。
[0019]進(jìn)一步的，所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元和所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元根據(jù)[48，24，12]擴(kuò)展平方剩余碼寫入和讀取數(shù)據(jù)；
[0020]所述分布式儲存控制管理單元為根據(jù)所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元的處理結(jié)果獲得待存儲的電力大數(shù)據(jù)塊的目錄信息的單元；
[0021]所述目錄信息包括所述電力大數(shù)據(jù)塊對應(yīng)的a行48列的存儲媒介陣列的行值、48Xa個電力大數(shù)據(jù)塊子塊的位置信息及其對應(yīng)的哈希函數(shù)摘要信息；位于第j列第i行的電力大數(shù)據(jù)塊子塊的所述位置信息為(i，j)，對應(yīng)的所述哈希函數(shù)摘要信息為hash (i, j), I < j < 48,1 < i < a,；
[0022]所述分布式儲存控制管理單元將48Xa個電力大數(shù)據(jù)塊子塊的所述位置信息(i, j)、所述哈希函數(shù)摘要信息hash(i，j)和所述a行48列的存儲媒介陣列相應(yīng)的存儲位置信息(i’，j’)發(fā)送至所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元，I≤j’≤48，
I≤i' ≤ ?ο
[0023]進(jìn)一步的，所述寫入控制管理單元為所述電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時鐘信號，生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息(i，j)及所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息hash(i，j)，I≤j≤48，I≤i≤a，a為正整數(shù)；
[0024]所述電力大數(shù)據(jù)塊預(yù)處理單元用于對待處理的所述電力大數(shù)據(jù)塊進(jìn)行預(yù)處理，使之變成24bytes的整倍數(shù)；所述預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以24bytes，獲得余數(shù)為C，若c = O，則所述電力大數(shù)據(jù)塊尾部不添加“O”，若c Φ O，則待存儲的所述電力大數(shù)據(jù)塊在尾部添加(24-c) bytes的“0”，所述c取I~23任一整數(shù)；
[0025]所述[48，24，12]擴(kuò)展平方剩余碼的編碼器為將24bits的數(shù)據(jù)信息編碼為48bits的[48，24，12]擴(kuò)展平方剩余碼的編碼器；
[0026]所述串/并變換器為將I路串行信息變換為48路并行信息的變換器；
[0027]所述輸入緩存器為48路并行的先進(jìn)先出的緩存器；
[0028]所述生成電力大數(shù)據(jù)塊子塊單元根據(jù)待存儲的X bytes字節(jié)的電力大數(shù)據(jù)塊生成48 X a個電力大數(shù)據(jù)塊子塊，a為正整數(shù)。
[0029]進(jìn)一步的，所述寫入通信傳輸通道和所述讀出通信傳輸通道用于48路電力大數(shù)據(jù)塊子塊的傳輸，48列a行的48 X a個電力大數(shù)據(jù)塊子塊的48列對應(yīng)48路；
[0030]所述寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道。
[0031]進(jìn)一步的，所述a行48列的存儲媒介陣列為用于存儲電力大數(shù)據(jù)塊、包括a行48列的存儲單元的存儲媒介陣列，a為正整數(shù)；
[0032]待存儲電力大數(shù)據(jù)塊大小不同，對應(yīng)的行值a和存儲單元容量不同；所述存儲單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
[0033]進(jìn)一步的，對應(yīng)同一待存儲電力大數(shù)據(jù)塊，所述a行48列的存儲媒介陣列中的存儲媒介為相同結(jié)構(gòu)的存儲單元，a為正整數(shù)；
[0034]進(jìn)一步的，所述讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元提供時鐘信號，生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息j’ <48，I≤i’≤a，對應(yīng)的所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash(i’，j’)；
[0035]所述匯聚電力大數(shù)據(jù)塊的子塊單元根據(jù)待存儲的X bytes字節(jié)的電力大數(shù)據(jù)塊生成48 X a個電力大數(shù)據(jù)塊子塊，a為正整數(shù)；
[0036]所述輸出緩存器為48路并行的先進(jìn)先出的緩存器；
[0037]所述并/串變換器將48路并行信息變換為I路串行信息的變換器；
[0038]所述[48，24，12]擴(kuò)展平方剩余碼的譯碼器為將48bits的[48，24，12]擴(kuò)展平方剩余碼的譯碼為24bits的數(shù)據(jù)信息的譯碼器；[0039]所述電力大數(shù)據(jù)塊后處理單元用于對待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理；
[0040]所述后處理方法包括:檢測所述電力大數(shù)據(jù)塊的尾部，以字節(jié)為單位，若其尾部有連續(xù)(24-c) bytes的O,則刪除所述連續(xù)(24_c)bytes的“O”,若所述尾部無連續(xù)(24_c)bytes的“0”，則不做刪除處理；所述c取I~23任一整數(shù)，對應(yīng)同一所述電力大數(shù)據(jù)塊，與所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對應(yīng)的c取值相同。
[0041]進(jìn)一步的，所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接。
[0042]進(jìn)一步的，所述大數(shù)據(jù)儲存系統(tǒng)具有存儲容量的擴(kuò)展性，將48列a行的存儲媒介陣列結(jié)構(gòu)整行擴(kuò)展，a為正整數(shù)，每行存儲媒介單元的容量相同，仍然能夠保持具備容N-5存儲媒介失效的能力。
[0043]進(jìn)一步的，所述[48，24，12]擴(kuò)展平方剩余碼的碼長η為48bits、信息位k為24bits、最小漢明距離dmin為12。
[0044]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0045]1、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)包括:[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元、分布式儲存控制管理單元，將多個容量較小、相對廉價的存儲媒介(例 如磁盤/含硬盤、磁帶或光盤)進(jìn)行有機(jī)組合，從而以較低的成本獲得與昂貴大容量存儲媒介相當(dāng)?shù)娜萘?、性能和可靠性，并使用的[48，24，12]擴(kuò)展平方剩余碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù)，允許同時發(fā)生任意< 5個存儲媒介失效(即N-5)，解決電力大數(shù)據(jù)儲存系統(tǒng)存儲容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化問題，以推進(jìn)電力系統(tǒng)的建設(shè)和發(fā)展。
[0046]2、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)通過[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元的完成對數(shù)據(jù)的處理，顯著改進(jìn)目前電力系統(tǒng)數(shù)據(jù)儲存系統(tǒng)的容故障能力和擴(kuò)展性，具備容N-5存儲媒介失效的能力。
[0047]3、對比目前的數(shù)據(jù)儲存系統(tǒng)，采用鏡像(Mirroring)技術(shù)僅具備容N_1存儲媒介失效(存儲媒介單元中允許同時發(fā)生任意< I個存儲媒介單元失效)，且可用容量僅50%;采用數(shù)據(jù)條帶(Data Stripping)和數(shù)據(jù)校驗(Data parity)技術(shù)僅具備容N-2存儲媒介失效(存儲媒介單元中允許同時發(fā)生任意< 2個存儲媒介單元失效)。
[0048]本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)，以磁盤(含硬盤)、磁帶或光盤為存儲媒介單元，組成48列a行的a行48列的存儲媒介陣列，a為正整數(shù)，每一行的48個存儲媒介單元中允許同時發(fā)生任意≤5個存儲媒介單元失效(即N-5)，且a行允許同時發(fā)生≤5a個存儲媒介單元失效，而不會發(fā)生數(shù)據(jù)丟失事件，且可用容量近50%，進(jìn)而保證數(shù)據(jù)儲存系統(tǒng)正常工作；針對智能電網(wǎng)數(shù)據(jù)儲存系統(tǒng)，保持和恢復(fù)設(shè)備的運(yùn)行力度，減少事故發(fā)生，降低經(jīng)濟(jì)損失，優(yōu)化運(yùn)行維護(hù)資源。
[0049]4、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)具有廣泛的適用性和很高的實(shí)用性，并能產(chǎn)生積極效果。
[0050]5、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)，能抵御電力大數(shù)據(jù)儲存系統(tǒng)多個存儲媒介單元失效故障，進(jìn)而保障和提高電力系統(tǒng)的安全、平穩(wěn)、可靠地運(yùn)行。因為電力大數(shù)據(jù)儲存系統(tǒng)相當(dāng)于電力系統(tǒng)的神經(jīng)中樞大腦。其存儲媒介單元失效故障，造成數(shù)據(jù)丟失或錯誤，將直接影響發(fā)電、輸電、變電、配電、用電、調(diào)度系統(tǒng)的安全、平穩(wěn)、可靠地運(yùn)行。
[0051]6、目前存儲媒介單元的失效概率相對較高，應(yīng)用本發(fā)明提供的具備容N-5存儲媒介失效的電力大數(shù)據(jù)云儲存系統(tǒng)，能抵御電力大數(shù)據(jù)儲存系統(tǒng)多個存儲媒介單元失效故障，進(jìn)而降低電力系統(tǒng)的失效概率，提高電力系統(tǒng)的供電可靠性，減小用戶停電時間，更好地為和諧社會服務(wù)。
[0052]7、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)，使可用存儲容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化，保障數(shù)據(jù)儲存系統(tǒng)的大容量、高性能和高可靠性，具有顯著的經(jīng)濟(jì)效益和良好的推廣應(yīng)用價值。
[0053]8、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)，存儲在磁盤(含硬盤)、磁帶或光盤中的智能電網(wǎng)數(shù)據(jù)，保障數(shù)據(jù)具有一定的私密性，需經(jīng)過[48，24，12]擴(kuò)展平方剩余碼編譯碼，擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距離dmin = 12,才能正確識讀。
[0054]9、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)能夠保障數(shù)據(jù)的完整性，所述讀出控制管理單元報告電力大數(shù)據(jù)塊子塊(i’，j’)的差錯和糾錯情況、哈希函數(shù)摘要信息hash(i，j)與hash(i’，j’)比對結(jié)果，hash(i, j) =hash(i’，j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i, j)的數(shù)據(jù)完整性。否則，電力大數(shù)據(jù)塊子塊(i’，j’)有被篡改或偽造的可能。
[0055]10、本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)的各單元通過通信傳輸系統(tǒng)的連接，能夠部署在相同或不同的地理位置；所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接，部署在同一或不同的地理位置。
[0056]11、本發(fā)明提供的大數(shù)據(jù)儲存系統(tǒng)，具有存儲容量的可擴(kuò)展性，48列a行(a為正整數(shù))的a行48列的存儲媒介陣列結(jié)構(gòu)能整行擴(kuò)展，仍然能夠保持具備容N-5存儲媒介失效的能力。
【專利附圖】

【附圖說明】
[0057]圖1為具備容N-5存儲媒介失效的電力大數(shù)據(jù)云儲存系統(tǒng)的處理流程圖；
[0058]圖2為a行48列的存儲媒介陣列結(jié)構(gòu)圖；
[0059]圖3為[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元的處理流程圖；
[0060]圖4為[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元的處理流程圖。
【具體實(shí)施方式】
[0061]下面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】做進(jìn)一步的詳細(xì)說明。
[0062]如圖1所示，圖1為具備容N-5存儲媒介失效的電力大數(shù)據(jù)云儲存系統(tǒng)的處理流程圖，該系統(tǒng)包括依次連接的[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元；[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元分別與分布式儲存控制管理單元連接。
[0063]如圖3所示，圖3為[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元的處理流程圖；[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元；電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元分別與所述寫入控制管理單元連接
[0064]如圖4所示，圖4為[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元的處理流程圖；[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元；匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元分別與所述讀出控制管理單元連接。
[0065]系統(tǒng)中，分布式儲存控制管理單元為所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元提供時鐘信號；分布式儲存控制管理單元根據(jù)待存儲的電力大數(shù)據(jù)塊的字節(jié)X (bytes),確定所述a行48列的存儲媒介陣列整體容量的字節(jié)y (bytes),X≤y ; [0066]分布式儲存控制管理單元控制所述a行48列的存儲媒介陣列使所述a行48列的存儲媒介陣列中的存儲媒介單元的容量為z (bytes)，48列a行構(gòu)成48Xa的a行48列的存儲媒介陣列；其中，a 為正整數(shù),y = 48 XaXz, 48 X (a-1) Xz ^ 48 XaXz, lbyte =8bits ;如圖2所示，圖2為48列a行的a行48列的存儲媒介陣列結(jié)構(gòu)圖。
[0067]不同待存儲的電力大數(shù)據(jù)庫的容量可相同也可不同，不同行的容量可相同也可不同。
[0068]分布式儲存控制管理單元保證所述a行48列的存儲媒介陣列中的每行48列均對應(yīng)一個[48，24，12]擴(kuò)展平方剩余碼的碼組。
[0069]系統(tǒng)中，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元分別運(yùn)用[48，24，12]擴(kuò)展平方剩余碼寫入和讀取數(shù)據(jù)。
[0070]本實(shí)施例中，[48, 24, 12]擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距尚dmin = 12。
[0071]擴(kuò)展平方剩余碼(Extended Quadratic Residue Codes),或稱擴(kuò)展化的平方剩余碼、擴(kuò)展QR碼等。
[0072]分布式儲存控制管理單元根據(jù)待存儲的電力大數(shù)據(jù)塊的信息生成相應(yīng)的目錄信息，所述目錄信息根據(jù)所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元的處理結(jié)果獲得；
[0073]目錄信息包括所述電力大數(shù)據(jù)塊對應(yīng)的a行48列的存儲媒介陣列的行值a、48X a個電力大數(shù)據(jù)塊子塊的位置信息及其對應(yīng)的哈希函數(shù)摘要信息；
[0074]其中，位于第j列第i行的電力大數(shù)據(jù)塊子塊的所述位置信息為(i，j)，I≤j≤48，I≤i≤a，對應(yīng)的所述哈希函數(shù)摘要信息為hash(i，j)；
[0075]分布式儲存控制管理單元將48Xa個電力大數(shù)據(jù)塊子塊的所述位置信息(i，j)、所述哈希函數(shù)摘要信息hash(i，j)和所述a行48列的存儲媒介陣列相應(yīng)的存儲位置信息(i’，j’)發(fā)送至所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元，I < j’ ( 48，I≤i’≤a，a為正整數(shù)。
[0076]分布式儲存控制管理單元根據(jù)所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元的、所述讀出控制管理單元報告電力大數(shù)據(jù)塊子塊a’，j’)的差錯和糾錯情況、哈希函數(shù)摘要信息hash (i, j)與hash(i’，j’)比對結(jié)果獲得告警信息,hash (i, j) = hash (i，，j’)表示電力大數(shù)據(jù)塊子塊(i，j)的數(shù)據(jù)完整。
[0077][48，24，12]擴(kuò)展平方剩余碼的編碼處理單元中，寫入控制管理單元為電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時鐘信號，生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息(i，j)及所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息hash(i，j)，其中，I≤j≤48，I≤i≤a，a為正整數(shù)。
[0078]電力大數(shù)據(jù)塊預(yù)處理單元用于對待處理的所述電力大數(shù)據(jù)塊進(jìn)行預(yù)處理，使之變成24bytes的整倍數(shù)；
[0079]預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以24bytes，獲得余數(shù)為C，若c =0，則所述電力大數(shù)據(jù)塊尾部不添加“0”，若c Φ 0，則待存儲的所述電力大數(shù)據(jù)塊在尾部添加(24-c) bytes 的 “O”，所述 c 取 I ~23 ；
[0080][48，24，12]擴(kuò)展平方剩余碼的編碼器為實(shí)現(xiàn)(n，k, (Iniin) = [48，24，8]的擴(kuò)展平方剩余碼的編碼，將24bits的數(shù)據(jù)信息編碼為48bits的[48，24，12]擴(kuò)展平方剩余碼的編碼器；
[0081][48，24，12]擴(kuò)展平方剩余碼的編碼器將24bits數(shù)據(jù)消息變換成48bits碼元的碼字，所述[48, 24，12]擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距尚 cLn = 12 ；
[0082]串/并變換器為將I路串行信息變換為48路并行信息的變換器；
[0083]輸入緩存器為48路并行的先進(jìn)先出的緩存器；
[0084]生成電力大數(shù)據(jù)塊子塊單元為根據(jù)待存儲的X (bytes)字節(jié)的電力大數(shù)據(jù)塊生成48 X a個電力大數(shù)據(jù)塊子塊，a為正整數(shù)。
[0085]寫入通信傳輸通道和讀出通信傳輸通道用于48路電力大數(shù)據(jù)塊子塊的傳輸，48列a行的48 X a個電力大數(shù)據(jù)塊子塊的48列對應(yīng)48路；
[0086]寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道。
[0087]a行48列的存儲媒介陣列為用于存儲電力大數(shù)據(jù)塊，包括48列a行的存儲單元的48 X a的存儲媒介陣列，a為正整數(shù)；
[0088]待存儲電力大數(shù)據(jù)塊大小不同，對應(yīng)的行值a和存儲單元容量不同；
[0089]所述存儲單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
[0090]對應(yīng)同一待存儲電力大數(shù)據(jù)塊，所述a行48列的存儲媒介陣列中的存儲媒介為相同結(jié)構(gòu)的存儲單元，a行48列的存儲媒介陣列中的每個存儲媒介單元的容量均為z (bytes)；
[0091 ] 由48列a行構(gòu)成48 X a的a行48列的存儲媒介陣列，a為正整數(shù)；
[0092]所述a行48列的存儲媒介陣列整體容量的字節(jié)y = 48XaX z (bytes),48X (a-1) Xz≤X≤48XaXz, X為待存儲的電力大數(shù)據(jù)塊的字節(jié)大小，lbyte = 8bits ；
[0093][48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元中，讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元提供時鐘信號，生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息(i’，j’)，I < j’ < 48，I≤i' ≤ a，對應(yīng)的所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為 hash(i’，j’)；
[0094]匯聚電力大數(shù)據(jù)塊的子塊單元為X (bytes)字節(jié)的48 X a個電力大數(shù)據(jù)塊子塊，a為正整數(shù)；
[0095]輸出緩存器為48路并行的先進(jìn)先出的緩存器；
[0096]并/串變換器將48路并行信息變換為I路串行信息的變換器；
[0097][48，24，12]擴(kuò)展平方剩余碼的譯碼器為實(shí)現(xiàn)(n，k, (Iniin) = [48，24，12]的擴(kuò)展平方剩余碼的譯碼，將48bits的擴(kuò)展平方剩余碼的譯碼為24bits的數(shù)據(jù)信息的譯碼器；
[0098][48，24，12]擴(kuò)展平方剩余碼的譯碼器將48bits碼元的碼字變換成24bits數(shù)據(jù)消息，所述[48, 24，12]擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距尚 cLn = 12 ；
[0099]電力大數(shù)據(jù)塊后處理單元用于對待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理；
[0100]后處理方法包括:檢測所述電力大數(shù)據(jù)塊的尾部，以字節(jié)為單位，若其尾部有連續(xù)(24-c) bytes的O,則刪除所述連續(xù)(24_c) bytes的“O”,若所述尾部無連續(xù)(24_c) bytes的“0”，則不做刪除處理；所述c取I~23，對應(yīng)同一所述電力大數(shù)據(jù)塊，與所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對應(yīng)的c取值相同。
[0101]將本系統(tǒng)運(yùn)用于電力系統(tǒng)時，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接，部署在同一或不同的地理位置。
[0102][48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元可分別安裝，也可任意結(jié)合安裝。
[0103]大數(shù)據(jù)儲存系統(tǒng)具有存儲容量的擴(kuò)展性，a行48列的存儲媒介陣列結(jié)構(gòu)能整行擴(kuò)展，a為正整數(shù)，每行存儲媒介單元的容量相同，仍然能夠保持N-5的容故障性。
[0104]本發(fā)明的電力大數(shù)據(jù)云儲存系統(tǒng)，將多個容量較小、相對廉價的磁盤進(jìn)行有機(jī)組合，從而以較低的成本獲得與昂貴大容量存儲媒介相當(dāng)?shù)娜萘?、性能和可靠性，并使用的[48，24，12]擴(kuò)展平方剩余碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù)，允許同時發(fā)生5個存儲媒介失效，即具有N-5安全性，滿足具備容N-5存儲媒介失效的能力。N-5表示大數(shù)據(jù)儲存系統(tǒng)允許同時發(fā)生任意< 5個存儲媒介失效。
[0105]能解決目前存儲媒介單元的失效概率相對較高、存儲媒介單元失效故障會造成數(shù)據(jù)丟失、面臨N-5安全性挑戰(zhàn)、電力大數(shù)據(jù)云儲存的私密性和完整性挑戰(zhàn)等問題。能實(shí)質(zhì)性地顯著改進(jìn)目前電力大數(shù)據(jù)云儲存系統(tǒng)的容故障能力和擴(kuò)展性，具備容N-5存儲媒介失效的能力。
[0106]以下分別提供以某電力公司數(shù)據(jù)中心分布式儲存系統(tǒng)和某電力公司大數(shù)據(jù)災(zāi)害備份分布式儲存系統(tǒng)的實(shí)施例做詳細(xì)說明。
[0107]本發(fā)明提供的系統(tǒng)能解決目前電力大數(shù)據(jù)分布式云儲存系統(tǒng)中無法抵御多個存儲媒介單元失效故障問題，使可用存儲容量、容故障能力和擴(kuò)展性三者均衡優(yōu)化，保障數(shù)據(jù)儲存系統(tǒng)的大容量、高性能和高可靠性，減少故障的影響，降低經(jīng)濟(jì)損失，優(yōu)化運(yùn)行維護(hù)資源，提高檢修效率和運(yùn)行可靠性。具備容N-5存儲媒介失效的同時，保障數(shù)據(jù)具有一定的私密性和完整性，以推進(jìn)電力大數(shù)據(jù)云儲存系統(tǒng)的建設(shè)和發(fā)展。
[0108]本實(shí)施例中，系統(tǒng)包括:依次連接的[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元；
[0109]所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元分別與分布式儲存控制管理單元連接。
[0110]1、分布式儲存控制管理單元
[0111]分布式儲存控制管理單元為所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元提供時鐘信號；
[0112]分布式儲存控制管理單元根據(jù)待存儲的某個電力大數(shù)據(jù)塊的字節(jié)大小X (bytes)，選定y (bytes)的所述a行48列的存儲媒介陣列整體容量的字節(jié)大小，x < y ;
[0113]分布式儲存 控制管理單元控制管理所述a行48列的存儲媒介陣列，保證所述a行48列的存儲媒介陣列中的每存儲媒介單元的容量相同均為z (bytes)，48列a行構(gòu)成48 X a的a行48列的存儲媒介陣列，a為正整數(shù)，y = 48XaXz,48X (a-1) Xz ^ x ^ 48XaXz,lbyte = 8bits ；
[0114]分布式儲存控制管理單元保證所述a行48列的存儲媒介陣列中的每行48列的對應(yīng)擴(kuò)展平方剩余碼的一個碼組，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元使用擴(kuò)展平方剩余碼，所述[48，24，12]擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距離dmin = 12 ；
[0115]分布式儲存控制管理單元根據(jù)待存儲的某個電力大數(shù)據(jù)塊的信息生成相應(yīng)的目錄信息，該目錄信息源自于所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元的處理結(jié)果，該目錄信息包括該電力大數(shù)據(jù)塊對應(yīng)的a行48列的存儲媒介陣列的a值、48Xa個電力大數(shù)據(jù)塊子塊每一個的位置信息和哈希函數(shù)摘要信息，位于第j列第i行的電力大數(shù)據(jù)塊子塊位置信息為(i, j)，I≤j≤48,1≤i≤a,相應(yīng)的哈希函數(shù)摘要信息為hash(i, j)；
[0116]分布式儲存控制管理單元將48Xa個電力大數(shù)據(jù)塊子塊每一個的位置信息(i，j)和哈希函數(shù)摘要信息hash(i，j)，及所述a行48列的存儲媒介陣列相應(yīng)的存儲位置信息(i，，j’)，I≤j’ ( 48，I≤i’≤a，告知所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元;
[0117]2、分布式儲存控制管理單元
[0118]分布式儲存控制管理單元根據(jù)該電力大數(shù)據(jù)塊的讀出情況生成相應(yīng)的告警信息，該告警信息源自于所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元，所述讀出控制管理單元報告電力大數(shù)據(jù)塊子塊(i’，j’)的差錯和糾錯情況、哈希函數(shù)摘要信息hash(i，j)與hash(i’，j’)比對結(jié)果，hash(i, j) =hash(i’，j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i, j)的數(shù)據(jù)完整性。
[0119]3、[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元
[0120][48，24，12]擴(kuò)展平方剩余碼的編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單兀；
[0121]所述電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元分別與寫入控制管理單元連接；
[0122]3.1、寫入控制管理單元為所述電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時鐘信號，生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息為(i，j),l^ j^48,l^i^a,生成對應(yīng)所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash(i, j)；
[0123]3.2、電力大數(shù)據(jù)塊預(yù)處理單元用于對待處理的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行預(yù)處理，使之變成24bytes的整倍數(shù)，所述預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以24bytes，獲得余數(shù)為C，若c = O，則所述電力大數(shù)據(jù)塊尾部不添加“O”，若c Φ 0，則待存儲的所述電力大數(shù)據(jù)塊在尾部添加(24-c)bytes的“0”，所述c取I~23 ;
[0124]3.3、[48， 24，12]擴(kuò)展平方剩余碼的編碼器完成[n, k, dmin] = [48，24，8]的擴(kuò)展平方剩余碼的編碼，為將24bits的數(shù)據(jù)信息編碼為48bits的擴(kuò)展平方剩余碼的編碼器，用于將24bits數(shù)據(jù)消息變換成48bits碼元的碼字,所述擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距離dmin = 12 ；
[0125]3.4、串/并變換器為將I路串行信息變換為48路并行信息的變換器；
[0126]3.5、輸入緩存器為48路并行的先進(jìn)先出緩存器；
[0127]3.6、生成電力大數(shù)據(jù)塊子塊單元為根據(jù)待存儲的某個電力大數(shù)據(jù)塊的字節(jié)大小X(bytes)生成字節(jié)大小相等的48Xa個電力大數(shù)據(jù)塊子塊，a為正整數(shù)，對應(yīng)a行48列的存儲媒介陣列。
[0128]4、寫入通信傳輸通道和讀出通信傳輸通道
[0129]寫入通信傳輸通道和讀出通信傳輸通道完成48路電力大數(shù)據(jù)塊子塊的傳輸，48列a行的48Xa個電力大數(shù)據(jù)塊子塊的48列對應(yīng)48路，所述寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道
[0130]5、a行48列的存儲媒介陣列
[0131]a行48列的存儲媒介陣列用于存儲電力大數(shù)據(jù)塊，為48列a行的存儲單元組成的48Xa的存儲媒介陣列，a為正整數(shù)，不同大小的待存儲電力大數(shù)據(jù)塊對應(yīng)不同的a或和不同的存儲單元容量大??；
[0132]所述存儲單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
[0133]對應(yīng)同一待存儲電力大數(shù)據(jù)塊，所述a行48列的存儲媒介陣列中的存儲媒介為相同結(jié)構(gòu)的存儲單元，a行48列的存儲媒介陣列中的每存儲媒介單元的容量相同均為z (bytes), a為正整數(shù),所述a行48列的存儲媒介陣列整體容量的字節(jié)大小為y(bytes),I = 48XaXz,48X (a-1) Xz ^ x ^ 48XaXz，待存儲的某個電力大數(shù)據(jù)塊的字節(jié)大小為X(bytes),lbyte = 8bits ；[0134]6、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元
[0135][48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元；
[0136]所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元分別與讀出控制管理單元連接。
[0137]6.1、讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元提供時鐘信號，生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息為(i’，<48，I Si’ ^a,生成對應(yīng)所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash(i’，j’)；
[0138]6.2、匯聚電力大數(shù)據(jù)塊的子塊單元為x(bytes)字節(jié)的48Xa個電力大數(shù)據(jù)塊子塊，a為正整數(shù)；
[0139]6.3、輸出緩存器為48路并行的先進(jìn)先出緩存器；
[0140]6.4、并/串變換器將48路并行信息變換為I路串行信息；
[0141]6.5、[48，24，1 2]擴(kuò)展平方剩余碼的譯碼器為完成[n, k, dmin] = [48，24，12]的擴(kuò)展平方剩余碼的譯碼，將48bits的擴(kuò)展平方剩余碼的譯碼為24bits的數(shù)據(jù)信息的譯碼器，用于將48bits碼元的碼字變換成24bits數(shù)據(jù)消息，所述擴(kuò)展平方剩余碼的碼長η =48bits、信息位k = 24bits、最小漢明距離dmin = 12 ；
[0142]6.6、電力大數(shù)據(jù)塊后處理單元用于對待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理，所述后處理方法包括:檢測所述電力大數(shù)據(jù)塊的尾部，以字節(jié)為單位，若其尾部有連續(xù)(24-c)bytes的O,則刪除所述連續(xù)(24_c)bytes的“O”,若所述尾部無連續(xù)(24-c) bytes的“0”，則不做刪除處理，所述c取I~23，對應(yīng)同一所述電力大數(shù)據(jù)塊，與所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對應(yīng)的c取值相同；
[0143]大數(shù)據(jù)儲存系統(tǒng)具有存儲容量的擴(kuò)展性，a行48列的存儲媒介陣列結(jié)構(gòu)能整行擴(kuò)展，a為正整數(shù)，每行存儲媒介單元的容量相同，仍然能夠保持N-5的容故障性。
[0144]—、以某電力公司數(shù)據(jù)中心分布式儲存系統(tǒng)為例
[0145]電力公司的電網(wǎng)的運(yùn)行和檢修是保證電網(wǎng)安全生產(chǎn)的關(guān)鍵，需要利用大數(shù)據(jù)分布式存儲系統(tǒng)來存儲各類與電網(wǎng)運(yùn)行和檢修相關(guān)的數(shù)據(jù)。
[0146]例如，某電力公司電網(wǎng)運(yùn)檢系統(tǒng)中的變電站視頻監(jiān)控系統(tǒng)涉及所轄變電站視頻監(jiān)控，由子站、總站兩大系統(tǒng)構(gòu)成，系統(tǒng)通過后臺控制、前端信號采集處理、信號匯總、傳輸?shù)人捻棾绦虿僮?，對變電站的電力設(shè)備、運(yùn)行值班、檢修維護(hù)等情況進(jìn)行遠(yuǎn)程實(shí)時監(jiān)控，并通過SDH系統(tǒng)網(wǎng)絡(luò)將各變電站現(xiàn)場情況遠(yuǎn)傳到項目監(jiān)管部門，可實(shí)時了解現(xiàn)場，做到零距離掌控。該系統(tǒng)同時具備防火、防盜報警功能，報警時可聯(lián)動攝像機(jī)進(jìn)行圖像抓拍、錄像、聯(lián)動手機(jī)短信發(fā)送報警信息，及時通知相關(guān)管理人員。該系統(tǒng)還支持門禁管理系統(tǒng)，確保人員出入有記錄，通過監(jiān)控中心遠(yuǎn)程實(shí)現(xiàn)對變電站進(jìn)行開關(guān)門，遠(yuǎn)程查看門禁信息日志，為處置各類突發(fā)事件時提供了實(shí)時、直觀的現(xiàn)場及相關(guān)圖像服務(wù)，在發(fā)生事故時可以第一時間對現(xiàn)場設(shè)備進(jìn)行概況巡視，填補(bǔ)操作隊伍到達(dá)現(xiàn)場時間長的空缺。特別是在一些惡劣天氣發(fā)生時，監(jiān)控班可以迅速的查看現(xiàn)場設(shè)備覆冰和積雪情況，及時發(fā)現(xiàn)缺陷。提升了管理效率和水平。
[0147]本實(shí)施例中，將該電力公司電網(wǎng)48個下屬單位的多個ITB磁盤進(jìn)行有機(jī)組合，組成I個云存儲池，即48個地點(diǎn)、每個地點(diǎn)10塊ITB磁盤。
[0148]相當(dāng)于以ITB磁盤為存儲媒介單元而組成10行48列的存儲媒介陣列，容量為48*10*1TB = 480TB，從而以較低的成本獲得與昂貴大容量存儲媒介相當(dāng)?shù)娜萘俊⑿阅芎涂煽啃?，并使用的[48，24，12]擴(kuò)展平方剩余碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù)，每一行的48個存儲媒介單元中允許同時發(fā)生任意< 5個存儲媒介單元失效(即N-5),且a = 10行允許同時發(fā)生≤5a = 50個存儲媒介單元(即每行≤5塊、10行≤50 ±夾，極端情況:ITB磁盤50塊)失效，而不會發(fā)生數(shù)據(jù)丟失事件，且總可用容量近50 %，進(jìn)而保證數(shù)據(jù)儲存系統(tǒng)正常工作。針對電力系統(tǒng)數(shù)據(jù)儲存系統(tǒng)，其創(chuàng)造性體現(xiàn)在以下方面:保持和恢復(fù)設(shè)備的運(yùn)行力度，減少事故發(fā)生，降低經(jīng)濟(jì)損失，優(yōu)化運(yùn)行維護(hù)資源，實(shí)現(xiàn)省級電網(wǎng)運(yùn)檢系統(tǒng)大數(shù)據(jù)的云存儲功能。
[0149]本發(fā)明提供的電力大數(shù)據(jù)云儲存系統(tǒng)，具有存儲容量的擴(kuò)展性，a行48列的存儲媒介陣列結(jié)構(gòu)能整行擴(kuò)展。實(shí)際需要存儲容量擴(kuò)展288TB時，在本實(shí)施例的基礎(chǔ)上，以3TB磁盤為存儲媒介單元，48個地點(diǎn)、每個地點(diǎn)2塊3TB磁盤，組成2行48列的存儲媒介陣列(即3TB磁盤96塊)，能增加存儲容量288TB。而且仍然能夠保持具備容N-5存儲媒介失效的能力，即每一行的48個存儲媒介單元中允許同時發(fā)生任意< 5個存儲媒介單元失效(即N-5)，且a = (10+2)行允許同時發(fā)生≤5a = 60個存儲媒介單元(即每行≤5塊，ITB磁盤10行< 50塊，3TB磁盤2行< 10塊；極端情況:1TB磁盤50塊、3TB磁盤10塊)失效，而不會發(fā)生數(shù)據(jù)丟失事件，且總可用容量近50%，進(jìn)而保證數(shù)據(jù)儲存系統(tǒng)的正常工作。
[0150]本實(shí)施例中 提供的電力大數(shù)據(jù)云儲存系統(tǒng)，存儲在云端a行48列的存儲媒介陣列的電力大數(shù)據(jù)，保障數(shù)據(jù)具有一定的私密性，需經(jīng)過[48，24，12]擴(kuò)展平方剩余碼編譯碼，擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距離dmin = 12,才能正確識讀。
[0151]本實(shí)施例中，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接，部署在同一地理位置。
[0152]本實(shí)施例中提供的電力大數(shù)據(jù)云儲存系統(tǒng)，存儲在云端a行48列的存儲媒介陣列的電力大數(shù)據(jù)，能夠保障數(shù)據(jù)的完整性，所述讀出控制管理單元報告電力大數(shù)據(jù)塊子塊(i’，j’)的差錯和糾錯情況、哈希函數(shù)摘要信息hash (i，j)與hash(i’，j’)比對結(jié)果，hash(i, j) = hash(i’，j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i，j)的數(shù)據(jù)完整性。否則，電力大數(shù)據(jù)塊子塊(i’，j’)有被篡改或偽造的可能。
[0153]二、以某電力公司大數(shù)據(jù)災(zāi)害備份分布式儲存系統(tǒng)為例
[0154]電力公司數(shù)據(jù)包括為電力生產(chǎn)數(shù)據(jù)和企業(yè)管理數(shù)據(jù)，電力公司業(yè)務(wù)數(shù)據(jù)災(zāi)害備份存貯系統(tǒng),地位非常重要。
[0155]本實(shí)施例的系統(tǒng)中，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接，部署在同一或不同的地理位置。
[0156]大數(shù)據(jù)儲存系統(tǒng)具有存儲容量的擴(kuò)展性，a行48列的存儲媒介陣列結(jié)構(gòu)能整行擴(kuò)展，a為正整數(shù)，每行存儲媒介單元的容量相同，仍然能夠保持N-5的容故障性。
[0157]本實(shí)施例中將該電力公司3個大數(shù)據(jù)災(zāi)害備份中心的多個4TB磁盤進(jìn)行有機(jī)組合，組成I個分布式云存儲池，即3個地點(diǎn)、每個地點(diǎn)48塊4TB磁盤。
[0158]相當(dāng)于以4TB磁盤為存儲媒介單元而組成3行48列的存儲媒介陣列，容量為48*3*4TB = 576TB，從而以較低的成本獲得與昂貴大容量存儲媒介相當(dāng)?shù)娜萘俊⑿阅芎涂煽啃?，并使用的[48，24，12]擴(kuò)展平方剩余碼編譯碼技術(shù)和哈希函數(shù)摘要技術(shù)，每一行的48個存儲媒介單元中允許同時發(fā)生任意< 5個存儲媒介單元失效(即N-5)，且a = 3行允許同時發(fā)生< 5a = 15個存儲媒介單元(即每行< 5塊、3行< 15塊，極端情況:4TB磁盤15塊)失效，而不會發(fā)生數(shù)據(jù)丟失事件，且總可用容量近50 %，進(jìn)而保證數(shù)據(jù)儲存系統(tǒng)正常工作。針對電力系統(tǒng)數(shù)據(jù)儲存系統(tǒng)，其創(chuàng)造性體現(xiàn)在以下方面，保持和恢復(fù)設(shè)備的運(yùn)行力度，減少事故發(fā)生，降低經(jīng)濟(jì)損失，優(yōu)化運(yùn)行維護(hù)資源，實(shí)現(xiàn)該電力公司業(yè)務(wù)大數(shù)據(jù)災(zāi)害備份的云儲存功能。
[0159]本實(shí)施例中提供的電力大數(shù)據(jù)分布式云儲存系統(tǒng)，存儲在云端a行48列的存儲媒介陣列的電力大數(shù)據(jù)，保障數(shù)據(jù)具有一定的私密性，需經(jīng)過[48，24，12]擴(kuò)展平方剩余碼編譯碼，擴(kuò)展平方剩余碼的碼長n = 48bits、信息位k = 24bits、最小漢明距離dmin = 12,才能正確識讀。
[0160]本實(shí)施例中，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接，部署在不同的地理位置，[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元和a行48列的存儲媒介陣列部署于同一處，[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元部署于同一處。
[0161 ] 本實(shí)施例中提供的電力大數(shù)據(jù)分布式云儲存系統(tǒng)，存儲在云端a行48列的存儲媒介陣列的電力大數(shù)據(jù)，能夠保障數(shù)據(jù)的完整性，所述讀出控制管理單元報告電力大數(shù)據(jù)塊子塊(i’，j’)的差錯和糾錯情況、哈希函數(shù)摘要信息hash(i，j)與hash(i’，j’)比對結(jié)果，hash(i, j) = hash(i’，j’)則表示能夠保證電力大數(shù)據(jù)塊子塊(i，j)的數(shù)據(jù)完整性。否則，電力大數(shù)據(jù)塊子塊(i’，j’)有被篡改或偽造的可能。
[0162] 最后應(yīng)當(dāng)說明的是:以上實(shí)施例僅用于說明本申請的技術(shù)方案而非對其保護(hù)范圍的限制，盡管參照上述實(shí)施例對本申請進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:本領(lǐng)域技術(shù)人員閱讀本申請后依然可對申請的【具體實(shí)施方式】進(jìn)行種種變更、修改或者等同替換，但這些變更、修改或者等同替換，均在申請待批的權(quán)利要求保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種具備容N-5存儲媒介失效的電力大數(shù)據(jù)分布式儲存系統(tǒng)，其特征在于:所述系統(tǒng)包括依次連接的[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元； 分布式儲存控制管理單元分別與所述編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和譯碼處理單元連接，a為正整數(shù)。
2.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元包括依次連接的電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元； 寫入控制管理單元分別與所述電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊單元連接。
3.如權(quán)利 要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元包括依次連接的匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元； 讀出控制管理單元分別與所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元連接。
4.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述分布式儲存控制管理單元為所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、寫入通信傳輸通道、a行48列的存儲媒介陣列、讀出通信傳輸通道和[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元提供時鐘信號； 所述分布式儲存控制管理單元根據(jù)待存儲的電力大數(shù)據(jù)塊的大小確定所述a行48列的存儲媒介陣列中的存儲媒介單元的容量大小，所述a行48列的存儲媒介陣列中的每行均對應(yīng)一個擴(kuò)展平方剩余碼的碼組，a為正整數(shù)。
5.如權(quán)利要求1-3任一所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元和所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元根據(jù)擴(kuò)展平方剩余碼寫入和讀取數(shù)據(jù)； 所述分布式儲存控制管理單元為根據(jù)所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元的處理結(jié)果獲得待存儲的電力大數(shù)據(jù)塊的目錄信息的單元； 所述目錄信息包括所述電力大數(shù)據(jù)塊對應(yīng)的a行48列的存儲媒介陣列的行值、48Xa個電力大數(shù)據(jù)塊子塊的位置信息及其對應(yīng)的哈希函數(shù)摘要信息；位于第j列第i行的電力大數(shù)據(jù)塊子塊的所述位置信息為(i，j)，對應(yīng)的所述哈希函數(shù)摘要信息為hash(i，j)，1≤j≤48，1≤i≤a，； 所述分布式儲存控制管理單元將48Xa個電力大數(shù)據(jù)塊子塊的所述位置信息(i，j)、所述哈希函數(shù)摘要信息hash(i，j)和所述a行48列的存儲媒介陣列相應(yīng)的存儲位置信息(i’，j’)發(fā)送至所述[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元，1 < j’ ( 48，1≤i' ≤?ο
6.如權(quán)利要求2所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述寫入控制管理單元為所述電力大數(shù)據(jù)塊預(yù)處理單元、[48，24，12]擴(kuò)展平方剩余碼的編碼器、串/并變換器、輸入緩存器和生成電力大數(shù)據(jù)塊子塊提供時鐘信號，生成第j列第i行的電力大數(shù)據(jù)塊子塊位置信息(i，j)及所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息hash(i，j), I ^ j ^ 48，1≤i≤a，a為正整數(shù)； 所述電力大數(shù)據(jù)塊預(yù)處理單元用于對待處理的所述電力大數(shù)據(jù)塊進(jìn)行預(yù)處理，使之變成24bytes的整倍數(shù)；所述預(yù)處理方法包括:將待處理的電力大數(shù)據(jù)塊除以24bytes，獲得余數(shù)為C，若c = O，則所述電力大數(shù)據(jù)塊尾部不添加“O”，若c Φ O，則待存儲的所述電力大數(shù)據(jù)塊在尾部添加(24-c)bytes的“O”，所述c取I~23任一整數(shù)； 所述[48，24，12]擴(kuò)展平方剩余碼的編碼器為將24bits的數(shù)據(jù)信息編碼為48bits的擴(kuò)展平方剩余碼的編碼器； 所述串/并變換器為將I路串行信息變換為48路并行信息的變換器； 所述輸入緩存器為48路并行的先進(jìn)先出的緩存器； 所述生成電力大數(shù)據(jù)塊子塊單元根據(jù)待存儲的X bytes字節(jié)的電力大數(shù)據(jù)塊生成48Xa個電力大數(shù)據(jù)塊子塊，a為正整數(shù)。
7.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述寫入通信傳輸通道和所述讀出通信傳輸通道用于48路電力大數(shù)據(jù)塊子塊的傳輸，48列a行的48Xa個電力大數(shù)據(jù)塊子塊的48列對應(yīng)48路； 所述寫入通信傳輸通道和所述讀出通信傳輸通道為電纜、光纖或無線通信傳輸通道。
8.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述a行48列的存儲媒介陣列用于存儲電力大數(shù)據(jù)塊，a為正整數(shù)； 待存儲電力大數(shù)據(jù)塊大小不同，對應(yīng)的行值a和存儲單元容量不同；所述存儲單元包括相同或不同大小的磁盤、硬盤、磁帶和/或光盤。
9.如權(quán)利要求1或8所述的電力大數(shù)據(jù)云儲存系統(tǒng),其特征在于:對應(yīng)同一待存儲電力大數(shù)據(jù)塊，所述a行48列的存儲媒介陣列中的存儲媒介為相同結(jié)構(gòu)的存儲單元，a為正整數(shù)。
10.如權(quán)利要求3所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述讀出控制管理單元為所述匯聚電力大數(shù)據(jù)塊的子塊單元、輸出緩存器、并/串變換器、[48，24，12]擴(kuò)展平方剩余碼的譯碼器和電力大數(shù)據(jù)塊后處理單元提供時鐘信號，生成第j’列第i’行的電力大數(shù)據(jù)塊子塊位置信息(i’，j’)，I < j’ < 48，I ^ i' ^ a，對應(yīng)的所述電力大數(shù)據(jù)塊子塊的哈希函數(shù)摘要信息為hash(i’，j")； 所述匯聚電力大數(shù)據(jù)塊的子塊單元根據(jù)待存儲的X bytes字節(jié)的電力大數(shù)據(jù)塊生成48 X a個電力大數(shù)據(jù)塊子塊，a為正整數(shù)； 所述輸出緩存器為48路并行的先進(jìn)先出的緩存器； 所述并/串變換器將48路并行信息變換為I路串行信息的變換器； 所述[48，24，12]擴(kuò)展平方剩余碼的譯碼器為將48bits的擴(kuò)展平方剩余碼的譯碼為24bits的數(shù)據(jù)信息的譯碼器； 所述電力大數(shù)據(jù)塊后處理單元用于對待讀出的所述電力大數(shù)據(jù)塊以字節(jié)為單位進(jìn)行后處理； 所述后處理方法包括:檢測所述電力大數(shù)據(jù)塊的尾部，以字節(jié)為單位，若其尾部有連續(xù)(24-c)bytes的O,則刪除所述連續(xù)(24_c)bytes的“O”,若所述尾部無連續(xù)(24_c)bytes的“0”，則不做刪除處理；所述c取I~23任一整數(shù)，對應(yīng)同一所述電力大數(shù)據(jù)塊，與所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元中的電力大數(shù)據(jù)塊預(yù)處理單元中對應(yīng)的c取值相同。
11.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述[48，24，12]擴(kuò)展平方剩余碼的編碼處理單元、a行48列的存儲媒介陣列、[48，24，12]擴(kuò)展平方剩余碼的譯碼處理單元和分布式儲存控制管理單元通過通信傳輸系統(tǒng)連接。
12.如權(quán)利要求1所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述大數(shù)據(jù)儲存系統(tǒng)具有存儲容量的擴(kuò)展性，將a行48列的存儲媒介陣列結(jié)構(gòu)整行擴(kuò)展，a為正整數(shù)，每行存儲媒介單元的容量相同，仍然能夠保持具備容N-5存儲媒介失效的 能力。
13.如權(quán)利要求1、2、3、4、5、6、10、11、12任一所述的電力大數(shù)據(jù)云儲存系統(tǒng)，其特征在于:所述擴(kuò)展平方剩余碼的碼長η為48bits、信息位k為24bits、最小漢明距離dmin為12。
【文檔編號】H04L29/08GK103957264SQ201410190541
【公開日】2014年7月30日 申請日期:2014年5月7日 優(yōu)先權(quán)日:2014年5月7日
【發(fā)明者】苗新 申請人:國家電網(wǎng)公司, 中國電力科學(xué)研究院