一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法
【專利摘要】本發(fā)明涉及一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，所述方法包括：（1）將電能質(zhì)量海量數(shù)據(jù)采用鍵值對(duì)形式存儲(chǔ)；（2）將鍵值對(duì)以序列化的方式存儲(chǔ)在文件中；（3）實(shí)時(shí)數(shù)據(jù)寫(xiě)入時(shí)，根據(jù)設(shè)備ID定位該監(jiān)測(cè)點(diǎn)數(shù)據(jù)區(qū)，通過(guò)指針定位監(jiān)測(cè)數(shù)據(jù)的相應(yīng)存儲(chǔ)區(qū)；（4）根據(jù)所要獲取數(shù)據(jù)的指標(biāo)類別碼，讀取記錄槽中的相應(yīng)數(shù)據(jù)。本發(fā)明中鍵值對(duì)存儲(chǔ)方式將每個(gè)數(shù)據(jù)文件都切割成數(shù)據(jù)塊進(jìn)行存儲(chǔ)，對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)訪問(wèn)都是以數(shù)據(jù)塊作為最小單位，提高了系統(tǒng)訪問(wèn)速度，數(shù)據(jù)文件管理和存取方式充分考慮了電能質(zhì)量數(shù)據(jù)多指標(biāo)、多粒度的特點(diǎn)，以及電能質(zhì)量數(shù)據(jù)應(yīng)用需求。
【專利說(shuō)明】一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于電力系統(tǒng)，具體講涉及一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法。
【背景技術(shù)】
[0002]隨著電能質(zhì)量監(jiān)測(cè)系統(tǒng)發(fā)展，監(jiān)測(cè)點(diǎn)規(guī)模不斷擴(kuò)大，監(jiān)測(cè)數(shù)據(jù)容量越來(lái)越大，現(xiàn)有的關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足數(shù)量和并發(fā)量的增長(zhǎng)需求。目前主流的實(shí)時(shí)數(shù)據(jù)庫(kù)，將數(shù)據(jù)常駐內(nèi)存，可實(shí)現(xiàn)海量數(shù)據(jù)的快速訪問(wèn)。針對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)特點(diǎn)，建立適用于實(shí)時(shí)數(shù)據(jù)庫(kù)的數(shù)據(jù)模型和數(shù)據(jù)處理方法，將提高電能質(zhì)量監(jiān)測(cè)系統(tǒng)的海量數(shù)據(jù)處理和高速并發(fā)訪問(wèn)能力。

【發(fā)明內(nèi)容】

[0003]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，本發(fā)明適用于實(shí)時(shí)數(shù)據(jù)庫(kù)管理的電能質(zhì)量數(shù)據(jù)存儲(chǔ)及讀取方法，基于鍵值對(duì)的電能質(zhì)量數(shù)據(jù)存儲(chǔ)方式，適用于電能質(zhì)量實(shí)時(shí)數(shù)據(jù)庫(kù)的數(shù)據(jù)文件管理和內(nèi)存管理模式，適用于海量電能質(zhì)量數(shù)據(jù)存取管理方式。
[0004]本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的:
[0005]一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其改進(jìn)之處在于，所述方法包括
[0006](I)將電能質(zhì)量海量數(shù)據(jù)采用鍵值對(duì)形式存儲(chǔ)；
[0007](2)將鍵值對(duì)以序列化的方式存儲(chǔ)在文件中；
[0008](3)實(shí)時(shí)數(shù)據(jù)寫(xiě)入時(shí)，根據(jù)設(shè)備ID定位該監(jiān)測(cè)點(diǎn)數(shù)據(jù)區(qū)，通過(guò)指針定位監(jiān)測(cè)數(shù)據(jù)的相應(yīng)存儲(chǔ)區(qū)；
[0009](4)根據(jù)所要獲取數(shù)據(jù)的指標(biāo)類別碼，讀取記錄槽中的相應(yīng)數(shù)據(jù)。
[0010]優(yōu)選的，所述步驟(I)包括鍵值對(duì)數(shù)據(jù)中，每個(gè)鍵對(duì)應(yīng)一個(gè)值，將電能質(zhì)量監(jiān)測(cè)設(shè)備ID作為鍵；此設(shè)備監(jiān)測(cè)指標(biāo)的測(cè)量值放到值的數(shù)據(jù)區(qū)中。
[0011]進(jìn)一步地，所述設(shè)備監(jiān)測(cè)指標(biāo)的測(cè)量值包括電壓偏差、頻率偏差、三相不平衡、電壓波動(dòng)與閃變、諧波和間諧波。
[0012]進(jìn)一步地，所述每個(gè)值區(qū)內(nèi)，監(jiān)測(cè)的測(cè)量值按指標(biāo)類別進(jìn)行分析和編碼，通過(guò)計(jì)算偏移量快速定位數(shù)據(jù)塊。
[0013]優(yōu)選的，所述步驟(3)中指針包括以200毫秒、3秒、I分鐘和10分鐘為數(shù)據(jù)粒度的四個(gè)存儲(chǔ)區(qū)。
[0014]優(yōu)選的，所述步驟(3)包括所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入數(shù)據(jù)帶有時(shí)戳，所述時(shí)戳與數(shù)據(jù)區(qū)首部的時(shí)刻點(diǎn)之差小于10分鐘，則直接由時(shí)間差獲得數(shù)據(jù)區(qū)的偏移，可直接將數(shù)據(jù)寫(xiě)入內(nèi)存，同時(shí)啟動(dòng)數(shù)據(jù)向上的聚合操作；
[0015]所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入數(shù)據(jù)帶有時(shí)戳，所述時(shí)戳與數(shù)據(jù)區(qū)首部的時(shí)刻點(diǎn)之差大于或等于10分鐘，則起動(dòng)后臺(tái)線程，將此段數(shù)據(jù)區(qū)寫(xiě)入文件。
[0016]優(yōu)選的，所述步驟(4)包括數(shù)據(jù)的存儲(chǔ)時(shí)段按2小時(shí)來(lái)劃分，每個(gè)被劃分出的單元對(duì)應(yīng)文件頭上的某個(gè)記錄槽位，所述槽位直接指向文件內(nèi)的數(shù)據(jù)塊。
[0017]進(jìn)一步地，所述文件按年目錄組織，對(duì)于跨年度的時(shí)段則讀取多個(gè)目錄內(nèi)的文件。
[0018]與現(xiàn)有技術(shù)比，本發(fā)明的有益效果為:
[0019]本發(fā)明針對(duì)電能質(zhì)量監(jiān)測(cè)系統(tǒng)，提出了基于鍵值對(duì)的數(shù)據(jù)模型、存儲(chǔ)管理以及海量數(shù)據(jù)存取方式。
[0020]本發(fā)明中鍵值對(duì)存儲(chǔ)方式將每個(gè)數(shù)據(jù)文件都切割成數(shù)據(jù)塊進(jìn)行存儲(chǔ)，對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)訪問(wèn)都是以數(shù)據(jù)塊作為最小單位，提高了系統(tǒng)訪問(wèn)速度。
[0021]本發(fā)明中數(shù)據(jù)文件管理和存取方式充分考慮了電能質(zhì)量數(shù)據(jù)多指標(biāo)、多粒度的特點(diǎn)，以及電能質(zhì)量數(shù)據(jù)應(yīng)用需求。
[0022]本發(fā)明應(yīng)用于電能質(zhì)量監(jiān)測(cè)系統(tǒng)，能夠?qū)崿F(xiàn)大規(guī)模數(shù)據(jù)的存儲(chǔ)和高速并發(fā)訪問(wèn)。
【專利附圖】

【附圖說(shuō)明】
[0023]圖1為本發(fā)明提供的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法中鍵值對(duì)存儲(chǔ)方式示意圖。
[0024]圖2為本發(fā)明提供的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法中文件管理方式示意圖。
[0025]圖3為本發(fā)明提供的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法中存儲(chǔ)管理方式示意圖。
[0026]圖4為本發(fā)明提供的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法中電能質(zhì)量歷史數(shù)據(jù)讀取方式示意圖。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)說(shuō)明。
[0028]1、如圖1所示，本發(fā)明將電能質(zhì)量數(shù)據(jù)采用鍵值對(duì)(key-value)形式存儲(chǔ)，利用鍵值對(duì)將各監(jiān)測(cè)點(diǎn)數(shù)據(jù)封裝為索引節(jié)點(diǎn)，按樹(shù)或列表的形式來(lái)組織索引節(jié)點(diǎn)，提高數(shù)據(jù)查詢速度。
[0029]其中，鍵值對(duì)數(shù)據(jù)中，每個(gè)鍵(key)對(duì)應(yīng)一個(gè)值(value)。鍵為ID，將電能質(zhì)量監(jiān)測(cè)設(shè)備ID作為鍵；此設(shè)備所有監(jiān)測(cè)指標(biāo)的測(cè)量值(如，電壓偏差、頻率偏差、三相不平衡、電壓波動(dòng)與閃變、諧波、間諧波等)都放到值的數(shù)據(jù)區(qū)中。在一個(gè)值區(qū)內(nèi)，監(jiān)測(cè)數(shù)據(jù)按指標(biāo)類別進(jìn)行分析和編碼，通過(guò)計(jì)算偏移量快速定位數(shù)據(jù)塊。
[0030]由于主流實(shí)時(shí)庫(kù)對(duì)值只能進(jìn)行整塊區(qū)域的操作，將監(jiān)測(cè)點(diǎn)所有指標(biāo)的數(shù)據(jù)集中放入一個(gè)鍵值對(duì)，內(nèi)存占用相對(duì)較大，為了避免頻繁地讀取整塊值區(qū)域，在內(nèi)存中建立當(dāng)前值的緩沖區(qū)，僅當(dāng)值區(qū)更新到尾部時(shí)才啟動(dòng)對(duì)數(shù)據(jù)庫(kù)的寫(xiě)操作。
[0031]2、鍵值對(duì)以序列化的方式存儲(chǔ)在文件中。利用內(nèi)存和通用文件系統(tǒng)，通過(guò)快速計(jì)算出偏移量的方法滿足應(yīng)用需求。
[0032]如圖2所示，文件管理方式，包括文件目錄、文件結(jié)構(gòu)、數(shù)據(jù)結(jié)構(gòu)。文件按年組織目錄，各監(jiān)測(cè)點(diǎn)每年的數(shù)據(jù)按照數(shù)據(jù)粒度分類存儲(chǔ)，數(shù)據(jù)粒度可分為200毫秒、3秒、I分鐘、10分鐘和2小時(shí)，具體設(shè)計(jì)根據(jù)實(shí)際應(yīng)用情況。各個(gè)文件的內(nèi)部，將I年數(shù)據(jù)按2小時(shí)為單位劃分，兩小時(shí)數(shù)據(jù)區(qū)按照時(shí)間順序排列。兩小時(shí)數(shù)據(jù)區(qū)內(nèi)，包括該數(shù)據(jù)區(qū)類型碼(200毫秒、3秒、I分鐘、10分鐘或2小時(shí))、數(shù)據(jù)長(zhǎng)度、以及每個(gè)時(shí)刻的數(shù)據(jù)。每個(gè)時(shí)刻的數(shù)據(jù)，包括各個(gè)電能質(zhì)量指標(biāo)的測(cè)量值，以及值的品質(zhì)。
[0033]如圖3所示，內(nèi)存管理采用二叉樹(shù)方式管理，通過(guò)操作系統(tǒng)的鎖機(jī)制來(lái)控制對(duì)此二叉樹(shù)的并發(fā)訪問(wèn)，通過(guò)線程池技術(shù)來(lái)完成樹(shù)內(nèi)數(shù)據(jù)向文件寫(xiě)的操作。二叉樹(shù)中每個(gè)節(jié)點(diǎn)中，以設(shè)備ID作為鍵值，為200毫秒、3秒、I分鐘和10分鐘粒度數(shù)據(jù)劃分獨(dú)立的存儲(chǔ)區(qū)域。
[0034]3、內(nèi)存樹(shù)數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)當(dāng)前十分鐘內(nèi)的數(shù)據(jù)，以監(jiān)測(cè)設(shè)備的ID作為鍵值，通過(guò)指針定位該監(jiān)測(cè)點(diǎn)的數(shù)據(jù)區(qū)，包含四個(gè)指針，分別指向以200毫秒、3秒、I分鐘和10分鐘為數(shù)據(jù)粒度的四個(gè)存儲(chǔ)區(qū)。
[0035]其中，當(dāng)實(shí)時(shí)數(shù)據(jù)寫(xiě)入時(shí)，首先找到監(jiān)測(cè)設(shè)備相應(yīng)的內(nèi)存節(jié)點(diǎn)，再根據(jù)數(shù)據(jù)粒度找到相應(yīng)的數(shù)據(jù)區(qū)。實(shí)時(shí)數(shù)據(jù)寫(xiě)入的數(shù)據(jù)帶有時(shí)戳，若此時(shí)戳與數(shù)據(jù)區(qū)首部的時(shí)刻點(diǎn)之差小于10分鐘，則直接由時(shí)間差獲得數(shù)據(jù)區(qū)的偏移，可直接將數(shù)據(jù)寫(xiě)入內(nèi)存，同時(shí)啟動(dòng)數(shù)據(jù)向上的聚合操作。
[0036]例如:每當(dāng)寫(xiě)到15個(gè)200ms周期的數(shù)據(jù)時(shí)，則起動(dòng)聚合操作，生成一個(gè)3秒周期的數(shù)據(jù)；類似地，再由3秒數(shù)據(jù)向I分鐘周期聚合，依次類推。
[0037]其中，當(dāng)實(shí)時(shí)數(shù)據(jù)寫(xiě)入時(shí)，實(shí)時(shí)數(shù)據(jù)寫(xiě)入的數(shù)據(jù)帶有時(shí)戳，若此時(shí)戳與數(shù)據(jù)區(qū)首部的時(shí)刻點(diǎn)之差大于或等于10分鐘，則起動(dòng)后臺(tái)線程，將此段數(shù)據(jù)區(qū)寫(xiě)入文件。200毫秒、3秒、I分鐘、10分鐘和2小時(shí)數(shù)據(jù)文件分目錄存儲(chǔ)，為便于直接往這5個(gè)文件指針中寫(xiě)數(shù)據(jù)，將打開(kāi)這5個(gè)文件后的指針存放于該監(jiān)測(cè)設(shè)備的內(nèi)存節(jié)點(diǎn)內(nèi)。文件頭用于記錄一年中以2小時(shí)為單位的各記錄槽，槽內(nèi)數(shù)值用于記錄該單位時(shí)刻的數(shù)據(jù)區(qū)的偏移。根據(jù)這批數(shù)據(jù)的開(kāi)始時(shí)間找到對(duì)應(yīng)的槽位，將數(shù)據(jù)寫(xiě)入文件的尾部，同時(shí)將該段數(shù)據(jù)的偏移記錄到相應(yīng)的槽位內(nèi)。
[0038]4、歷史數(shù)據(jù)的讀取為:
[0039]歷史數(shù)據(jù)的存儲(chǔ)時(shí)段按2小時(shí)來(lái)劃分，每個(gè)被劃分出的單元對(duì)應(yīng)文件頭上的某個(gè)記錄槽位，而這些槽位直接指向文件內(nèi)的數(shù)據(jù)塊。再根據(jù)所要獲取數(shù)據(jù)的指標(biāo)類別碼，可很快地讀取記錄槽所指向數(shù)據(jù)區(qū)中的相應(yīng)數(shù)據(jù)，如圖4所示。文件按年目錄組織，對(duì)于跨年度的時(shí)段相當(dāng)于讀取多個(gè)目錄內(nèi)的文件。
[0040]本發(fā)明采用面向服務(wù)的技術(shù)為客戶端軟件提供服務(wù)接口，以便于應(yīng)用程序的二次開(kāi)發(fā)，以及數(shù)據(jù)應(yīng)用的擴(kuò)展。所用的接口可封裝為C庫(kù)接口和Web服務(wù)接口兩種，C庫(kù)接口采用CORBA服務(wù)總線，Web服務(wù)接口采用Apache或Web Logical等。
[0041]為保證設(shè)備ID具有全網(wǎng)唯一性，可將IEC61970CM的URI映射為設(shè)備ID，并采用唯一的映射規(guī)則。各類電能質(zhì)量指標(biāo)的編碼也應(yīng)具有全網(wǎng)唯一性。采用面向服務(wù)的方式，通過(guò)訪問(wèn)服務(wù)接口為全網(wǎng)的用戶提供統(tǒng)一的編碼。
[0042]最后應(yīng)當(dāng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:依然可以對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
【權(quán)利要求】
1.一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述方法包括 (1)將電能質(zhì)量海量數(shù)據(jù)采用鍵值對(duì)形式存儲(chǔ)； (2)將鍵值對(duì)以序列化的方式存儲(chǔ)在文件中； (3)實(shí)時(shí)數(shù)據(jù)寫(xiě)入時(shí)，根據(jù)設(shè)備ID定位該監(jiān)測(cè)點(diǎn)數(shù)據(jù)區(qū)，通過(guò)指針定位監(jiān)測(cè)數(shù)據(jù)的相應(yīng)存儲(chǔ)區(qū)； (4)根據(jù)所要獲取數(shù)據(jù)的指標(biāo)類別碼，讀取記錄槽中的相應(yīng)數(shù)據(jù)。
2.如權(quán)利要求1所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述步驟(I)包括鍵值對(duì)數(shù)據(jù)中，每個(gè)鍵對(duì)應(yīng)一個(gè)值，將電能質(zhì)量監(jiān)測(cè)設(shè)備ID作為鍵；此設(shè)備監(jiān)測(cè)指標(biāo)的測(cè)量值放到值的數(shù)據(jù)區(qū)中。
3.如權(quán)利要求2所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述設(shè)備監(jiān)測(cè)指標(biāo)的測(cè)量值包括電壓偏差、頻率偏差、三相不平衡、電壓波動(dòng)與閃變、諧波和間諧波。
4.如權(quán)利要求2所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述每個(gè)值區(qū)內(nèi)，監(jiān)測(cè)的測(cè)量值按指標(biāo)類別進(jìn)行分析和編碼，通過(guò)計(jì)算偏移量快速定位數(shù)據(jù)塊。
5.如權(quán)利要求1所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述步驟(3)中指針包括以200毫秒、3秒、I分鐘和10分鐘為數(shù)據(jù)粒度的四個(gè)存儲(chǔ)區(qū)。
6.如權(quán)利要求1所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述步驟(3)包括所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入數(shù)據(jù)帶有時(shí)戳，所述時(shí)戳與數(shù)據(jù)區(qū)首部的時(shí)刻點(diǎn)之差小于10分鐘，則直接由時(shí)間差獲得數(shù)據(jù)區(qū)的偏移，可直接將數(shù)據(jù)寫(xiě)入內(nèi)存，同時(shí)啟動(dòng)數(shù)據(jù)向上的聚合操作； 所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入數(shù)據(jù)帶有時(shí)戳，所述時(shí)戳與數(shù)據(jù)區(qū)首部的時(shí)刻點(diǎn)之差大于或等于10分鐘，則起動(dòng)后臺(tái)線程，將此段數(shù)據(jù)區(qū)寫(xiě)入文件。
7.如權(quán)利要求1所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述步驟(4)包括數(shù)據(jù)的存儲(chǔ)時(shí)段按2小時(shí)來(lái)劃分，每個(gè)被劃分出的單元對(duì)應(yīng)文件頭上的某個(gè)記錄槽位，所述槽位直接指向文件內(nèi)的數(shù)據(jù)塊。
8.如權(quán)利要求7所述的一種電能質(zhì)量海量數(shù)據(jù)存儲(chǔ)及讀取方法，其特征在于，所述文件按年目錄組織，對(duì)于跨年度的時(shí)段則讀取多個(gè)目錄內(nèi)的文件。
【文檔編號(hào)】G06F17/30GK103593486SQ201310656313
【公開(kāi)日】2014年2月19日 申請(qǐng)日期:2013年12月6日 優(yōu)先權(quán)日:2013年12月6日
【發(fā)明者】王同勛 申請(qǐng)人:國(guó)家電網(wǎng)公司, 國(guó)網(wǎng)智能電網(wǎng)研究院