一種面向并發(fā)olap的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)及方法【專利摘要】本發(fā)明公開了一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)及方法,通過分層抽點(diǎn)、聚簇、索引組織表、大對象存儲等一系列DBMS技術(shù),降低并發(fā)OLAP中測試數(shù)據(jù)訪問中的I/O代價(jià),從而提高并發(fā)查詢的處理能力。本發(fā)明在數(shù)據(jù)庫管理系統(tǒng)中針對I/O性能和并行OLAP處理性能實(shí)現(xiàn)了并發(fā)查詢處理優(yōu)化技術(shù),支持面向I/O性能來優(yōu)化設(shè)置并發(fā)OLAP處理負(fù)載,從而提高了測試數(shù)據(jù)波形顯示的可預(yù)期訪問性能,實(shí)現(xiàn)了大規(guī)模并發(fā)OLAP的測試數(shù)據(jù)查詢的加速處理?!緦@f明】—種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)及方法【
技術(shù)領(lǐng)域:
】[0001]本發(fā)明涉及一種數(shù)據(jù)庫查詢處理系統(tǒng)與方法,尤其涉及一種面向大規(guī)模并發(fā)聯(lián)機(jī)分析處理(OLAP)的測試數(shù)據(jù)查詢處理系統(tǒng)及方法,降低并發(fā)OLAP中讀取的代價(jià),提高并發(fā)查詢處理能力的方法,屬于測試數(shù)據(jù)管理【
技術(shù)領(lǐng)域:
】。【
背景技術(shù):
】[0002]當(dāng)今,數(shù)據(jù)處理大致可以分成兩類:聯(lián)機(jī)事務(wù)處理(on-linetransactionprocessing,簡寫為OLTP)和聯(lián)機(jī)分析處理(On-LineAnalyticalProcessing,簡寫為0LAP)。OLTP主要是日常的事務(wù)處理,例如銀行交易。OLAP的設(shè)計(jì)目標(biāo)是滿足決策支持或者多維環(huán)境下特定的查詢和報(bào)表需求。包括OLAP在內(nèi)的諸多應(yīng)用驅(qū)動了數(shù)據(jù)倉庫技術(shù)的出現(xiàn)和發(fā)展;而數(shù)據(jù)倉庫技術(shù)反過來又促進(jìn)了OLAP技術(shù)的發(fā)展。[0003]對于測試數(shù)據(jù)的統(tǒng)一查詢訪問屬于OLAP范疇,1/0(輸入/輸出)是最主要的性能瓶頸。當(dāng)并發(fā)查詢獨(dú)立地訪問磁盤上的事實(shí)表時(shí),大量的隨機(jī)位置訪問加連續(xù)訪問會產(chǎn)生巨大的磁盤尋道延遲,I/o帶寬占用,極大地降低磁盤的有效吞吐性能。目前主流技術(shù)通常采用并發(fā)查詢處理的對慢速磁盤上的數(shù)據(jù)事實(shí)表I/o訪問進(jìn)行共享,并消除不同查詢處理任務(wù)對磁盤訪問的爭用。在這個(gè)過程中,技術(shù)的關(guān)鍵是建立共享I/o上的并發(fā)查詢處理代價(jià)模型,獲得I/o延遲與緩存數(shù)據(jù)上的并發(fā)查詢處理延遲之間的最佳負(fù)載匹配。[0004]然而,測試數(shù)據(jù)往往一次測試單個(gè)物理量的數(shù)據(jù)量就會達(dá)到IG以上,在測試過程中,往往在同一時(shí)點(diǎn)產(chǎn)生上千個(gè)物理量值,在大量并發(fā)查詢時(shí),會導(dǎo)致并發(fā)查詢處理的整體數(shù)據(jù)量過大而照成執(zhí)行時(shí)間過長,使得性能難以接受,無法獲得可以接受的測試數(shù)據(jù)并發(fā)查詢性能。另外,在傳統(tǒng)的磁盤數(shù)據(jù)庫中,數(shù)據(jù)堆表的存儲往往是DBMS自身控制,用戶很難干涉每個(gè)元組的存儲具體物理位置,經(jīng)常同時(shí)訪問的數(shù)據(jù)物理存儲往往存儲在不同的物理數(shù)據(jù)塊上,這又進(jìn)一步降低了磁盤1/0的性能。[0005]海量并發(fā)OLAP的測試數(shù)據(jù)查詢的情況下,并發(fā)查詢處理所面臨的關(guān)鍵技術(shù)挑戰(zhàn)有三點(diǎn):一是每個(gè)物理量的測試數(shù)據(jù)由多個(gè)時(shí)間點(diǎn)的量值組成,常常達(dá)到千萬級甚至億級,用戶訪問常常是整個(gè)測試某個(gè)或多個(gè)物理量的全圖,因此產(chǎn)生的I/o代價(jià)過大,在大規(guī)模并發(fā)查詢的情況下,性能變得不可接受;二是商用DBMS通常的存儲形式(堆表)很難將連續(xù)的測試數(shù)據(jù)物理上存儲在同一或相鄰的數(shù)據(jù)塊上,以消除或減少與事實(shí)表掃描所造成的I/O爭用;三是商用DBMS通常的存儲形式(堆表)的無序性,無法保存簡單的固定采樣率的測試數(shù)據(jù),必須增加時(shí)間列,這樣存儲空間增大一倍以上(連同索引),需要兼顧查詢性能的前提下盡量降低存儲空間開銷?!?br/>發(fā)明內(nèi)容】[0006]本發(fā)明所要解決的技術(shù)問題在于:克服現(xiàn)有技術(shù)的不足,提供一種面向大規(guī)模并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)及方法,通過分層抽點(diǎn)、聚簇、索引組織表、大對象存儲等一系列DBMS技術(shù),降低并發(fā)OLAP中測試數(shù)據(jù)訪問中的I/O代價(jià),從而提高并發(fā)查詢的處理能力。[0007]本發(fā)明技術(shù)解決方案:一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng),包括:數(shù)據(jù)接口模塊、分層抽點(diǎn)模塊、聚簇存儲模塊、索引組織表模塊、大對象存儲模塊、文檔管理模塊和綜合查詢模塊;[0008]數(shù)據(jù)接口模塊,建立與外部的測試部分的數(shù)據(jù)接口,接收上述外部測試部分產(chǎn)生測試數(shù)據(jù),建立Oracle鏡像,實(shí)現(xiàn)定時(shí)讀取上述外部測試部分產(chǎn)生的測試數(shù)據(jù),存儲于Oracle數(shù)據(jù)庫服務(wù)器,供分層抽點(diǎn)模塊和文檔管理模塊調(diào)用;[0009]分層抽點(diǎn)模塊,讀取數(shù)據(jù)接口模塊產(chǎn)生的測試數(shù)據(jù),其進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu),用戶實(shí)際向系統(tǒng)發(fā)出查詢請求時(shí),系統(tǒng)由分層數(shù)據(jù)結(jié)構(gòu)樹根部開始檢索,向葉子端逐層訪問,這樣的結(jié)構(gòu)可以降低讀取海量曲線數(shù)據(jù)帶來的磁盤與網(wǎng)絡(luò)負(fù)載,分層抽點(diǎn)模塊生成分層數(shù)據(jù)供聚簇存儲模塊調(diào)用;[0010]聚簇存儲模塊,讀取分層抽點(diǎn)模塊產(chǎn)生的分層數(shù)據(jù),對分層數(shù)據(jù)采用聚簇的形式存儲,以實(shí)驗(yàn)ID+時(shí)間戳兩個(gè)屬性列(實(shí)驗(yàn)ID:每個(gè)實(shí)驗(yàn)的唯一標(biāo)識;時(shí)間戳:每個(gè)測試物理量發(fā)生的時(shí)間點(diǎn))為聚簇因子存儲曲線數(shù)據(jù),控制數(shù)據(jù)存儲位置,生成聚簇?cái)?shù)據(jù)供索引組織表模塊調(diào)用;[0011]索引組織表模塊,讀取分層抽點(diǎn)模塊、聚簇存儲模塊產(chǎn)生的分層數(shù)據(jù),采用索引組織表的形式存儲,即:索引結(jié)構(gòu)中不但存儲索引屬性列(例如實(shí)驗(yàn)ID、時(shí)間戳兩個(gè)屬性列),還存儲實(shí)際值(物理量值),而不再訪問堆表。這樣的存儲結(jié)構(gòu)不但降低存儲空間,而且減少索引-表的指針訪問,所有數(shù)據(jù)完全存儲在索引結(jié)構(gòu)上,避免通過指針訪問表,加速大規(guī)模并發(fā)數(shù)據(jù)庫訪問效率,本模塊所生成的索引組織表存儲數(shù)據(jù)供綜合查詢模塊調(diào)用;[0012]大對象存儲模塊,讀取分層抽點(diǎn)模塊、聚簇存儲模塊產(chǎn)生的最底層數(shù)據(jù)采用大對象(BLOB)形式存儲,以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中,以支持各種復(fù)雜的用戶查詢,每個(gè)BLOB對應(yīng)一個(gè)實(shí)驗(yàn)的一個(gè)物理量,在數(shù)據(jù)庫訪問中,采用二進(jìn)制數(shù)據(jù)檢索技術(shù),實(shí)現(xiàn)起止點(diǎn)+偏移量(OFFSET)的訪問方式,提高查詢效率;大對象存儲的BLOB產(chǎn)生數(shù)據(jù)供綜合查詢模塊調(diào)用;[0013]文檔管理模塊,讀取數(shù)據(jù)接口模塊產(chǎn)生的文檔數(shù)據(jù),實(shí)現(xiàn)測試用例與測試文檔管理模塊實(shí)現(xiàn)全過程文檔管理,所述全過程文檔管理包括測試用例、測試結(jié)果、任務(wù)書、需求分析報(bào)告、階段驗(yàn)收報(bào)告、最終驗(yàn)收報(bào)告、線路圖、用戶手冊,實(shí)現(xiàn)版本控制,產(chǎn)生文檔數(shù)據(jù)供綜合查詢模塊調(diào)用;[0014]綜合查詢模塊,讀取文檔管理模塊產(chǎn)生的文檔數(shù)據(jù)以及索引組織表模塊、大對象存儲模塊的測試數(shù)據(jù),該模塊的技術(shù)特征為用戶通過型號名稱、版本號和關(guān)鍵字檢索測試用例及測試結(jié)果功能,為用戶提供一個(gè)基于關(guān)系數(shù)據(jù)、測試數(shù)據(jù)、文檔數(shù)據(jù)三類數(shù)據(jù)混合查詢的查詢平臺。綜合查詢模塊實(shí)現(xiàn)集中、統(tǒng)一的多角度、多功能、可對比的圖形化用戶查詢界面,以及測試用例、測試結(jié)果高度共享,確保用戶更為便捷的對比來自各五個(gè)測試平臺的仿真數(shù)據(jù),查詢結(jié)果以報(bào)表形式輸出或以多種數(shù)據(jù)格式導(dǎo)出。[0015]所述分層抽點(diǎn)模塊具體實(shí)現(xiàn)如下:[0016](2)第一步,從數(shù)據(jù)接口模塊取得仿真數(shù)據(jù),對仿真數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算根據(jù)每個(gè)實(shí)驗(yàn)的采集數(shù)據(jù)量,自動計(jì)算出需要分層的層數(shù)以及每層的抽點(diǎn)率,所得分層層數(shù)和抽點(diǎn)率供分層模塊調(diào)用相應(yīng)的抽點(diǎn)算法進(jìn)行分層處理;[0017](I)第二步,根據(jù)第一步的分層的層數(shù)以及每層的抽點(diǎn)率,,生成樹形的數(shù)據(jù)層次結(jié)構(gòu);樹的最底層,即葉子節(jié)點(diǎn),存放全部真實(shí)仿真數(shù)據(jù);其他層依次用樹形分層算法以子層抽點(diǎn)的精度的存儲子層的近似仿真數(shù)據(jù),即一定數(shù)量的時(shí)間戳相鄰的仿真數(shù)據(jù),取最大值和最小值存儲于父層;通過這種分層抽點(diǎn)降低數(shù)據(jù)量的CUBE模式,使得前段測試數(shù)據(jù)曲線顯示時(shí)每次曲線產(chǎn)生僅需千條數(shù)據(jù);實(shí)際系統(tǒng)執(zhí)行時(shí)用戶查詢由樹根部向葉子端逐層訪問,每次讀取的數(shù)據(jù)量不超過2000個(gè),避免以降低讀取海量曲線數(shù)據(jù)帶來的磁盤與網(wǎng)絡(luò)負(fù)載,提高查詢效率。本步所得層次結(jié)構(gòu)供平滑處理模塊調(diào)用;[0018](3)第三步,根據(jù)第二步的分層結(jié)構(gòu),采用OLAP計(jì)算方法,對統(tǒng)一規(guī)范的數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算,進(jìn)行平滑處理,近似計(jì)算既要保留原始數(shù)據(jù)的特征數(shù)據(jù),即該段數(shù)據(jù)的最大值和最小值,還要使得近似曲線盡可能平滑,方便用戶正確理解數(shù)據(jù)的趨勢變化。平滑處理算法首先判斷該段數(shù)據(jù)的趨勢,即:上升,下降或平緩,根據(jù)趨勢,調(diào)整最大值、最小值的時(shí)間戳取值,以得到相對平滑曲線。通過傳統(tǒng)關(guān)系數(shù)據(jù)庫技術(shù)建立穩(wěn)定、高效的存儲模式結(jié)構(gòu),對于數(shù)據(jù)量較小的表采取高范式的模式設(shè)計(jì),避免出現(xiàn)數(shù)據(jù)冗余或不一致的情況;對于數(shù)據(jù)量較大且很少修改的表,數(shù)據(jù)可以適當(dāng)允許冗余,以保證查詢時(shí)連接所產(chǎn)成的巨大磁盤代價(jià),確保查詢相應(yīng)時(shí)間,最終輸出平滑的分層抽點(diǎn)數(shù)據(jù)。[0019]所述聚簇存儲模塊具體實(shí)現(xiàn)如下:[0020](I)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否進(jìn)行聚簇處理,傳統(tǒng)關(guān)系數(shù)據(jù)庫堆表的存儲模式中,表中每條記錄存放的物理地址由數(shù)據(jù)庫系統(tǒng)根據(jù)當(dāng)時(shí)磁盤情況而決定,即使連續(xù)插入的數(shù)據(jù),物理存儲地址也不一定連續(xù),因此這種存儲模式并不適合仿真實(shí)驗(yàn)測試曲線數(shù)據(jù)存儲與讀取。對仿真實(shí)驗(yàn)測試曲線數(shù)據(jù)存儲與訪問有其獨(dú)特的方式,首先由于一般來說曲線數(shù)據(jù)被加載到數(shù)據(jù)庫后極少發(fā)生改變,即修改或個(gè)別條元組增刪,因此可以忽略因此帶來的元組遷移代價(jià);其次對仿真實(shí)驗(yàn)測試曲線數(shù)據(jù)訪問并不像傳統(tǒng)關(guān)系數(shù)據(jù)那樣存在大量的隨機(jī)訪問,由于大部分操作是讀取曲線或曲線的一部分,因此多數(shù)發(fā)生的時(shí)間戳連續(xù)的數(shù)據(jù)訪問。最理想的存儲方式是時(shí)間戳相鄰的曲線數(shù)據(jù),物理上也相鄰存儲,這樣即可以最大限度的降低數(shù)據(jù)訪問時(shí)帶來的I/o交換。本步通過采樣,根據(jù)采樣數(shù)據(jù),判斷實(shí)驗(yàn)是否連續(xù),判斷結(jié)果供第二步調(diào)用;[0021](2)第二步,根據(jù)第一步的判斷結(jié)果是否進(jìn)行聚簇處理,如果是,則系統(tǒng)采用聚簇的形式存儲測試曲線數(shù)據(jù),這種存儲模式的特點(diǎn)是,數(shù)據(jù)存儲位置可以控制,但發(fā)生修改時(shí)代價(jià)高;以實(shí)驗(yàn)ID+時(shí)間戳(實(shí)驗(yàn)ID:每個(gè)實(shí)驗(yàn)的唯一標(biāo)識;時(shí)間戳:每個(gè)測試物理量發(fā)生的時(shí)間點(diǎn))為聚簇因子,調(diào)用關(guān)系數(shù)據(jù)庫固有的聚簇存儲函數(shù),導(dǎo)入存儲曲線數(shù)據(jù),合理的利用聚簇的優(yōu)點(diǎn),又沒有發(fā)生過多的記錄修改時(shí)數(shù)據(jù)遷移代價(jià)。[0022]所述索引組織表存儲模塊具體實(shí)現(xiàn)如下:[0023](I)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否為最底層數(shù)據(jù),如果否,則采用調(diào)用算法調(diào)整測試數(shù)據(jù)的存儲方式,抽取傳統(tǒng)同一實(shí)驗(yàn)同一時(shí)間戳同時(shí)多個(gè)物理量的形式的存儲結(jié)構(gòu),將測試數(shù)據(jù)按照實(shí)驗(yàn)+單個(gè)物理量為單位進(jìn)行存儲,同一實(shí)驗(yàn)的多個(gè)物理量之間存儲聯(lián)系不再存在,而是通過數(shù)據(jù)庫主外鍵形式保持邏輯聯(lián)系,得到單個(gè)物理量的存儲數(shù)據(jù)供第二步調(diào)用;[0024](2)第二步,清除原表中數(shù)據(jù),讀取第一步處理結(jié)果,調(diào)用關(guān)系數(shù)據(jù)庫固有的索引組織標(biāo)存儲函數(shù),導(dǎo)入第一步處理結(jié)果,生成索引組織表,除了最底層葉子節(jié)點(diǎn)外,其他層分層抽點(diǎn)數(shù)據(jù)采用索引組織表的形式存儲,能夠降低存儲空間,減少索引-表的指針訪問,數(shù)據(jù)完全存儲在索引結(jié)構(gòu)上,避免通過指針訪問表,從而進(jìn)一步降低I/o代價(jià),加速大規(guī)模并發(fā)數(shù)據(jù)庫訪問效率,提高查詢性能;最終得到以索引組織表形式存在的分層抽點(diǎn)數(shù)據(jù)。[0025]所述大對象存儲模塊具體實(shí)現(xiàn)如下:[0026](I)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否為最底層數(shù)據(jù),如果是,則采用大對象(BLOB)形式存儲最底層數(shù)據(jù)。測試數(shù)據(jù)數(shù)據(jù)量巨大(相對于關(guān)系數(shù)據(jù)庫),單個(gè)測試實(shí)驗(yàn)單個(gè)物理量數(shù)據(jù)量往往超過1000萬條,甚至上億;當(dāng)測試數(shù)據(jù)進(jìn)入關(guān)系數(shù)據(jù)庫被關(guān)系化,由于傳統(tǒng)數(shù)據(jù)庫沒有記錄順序的界定,因此需要增加時(shí)間戳列(文件形式存儲測試數(shù)據(jù)不需要存儲時(shí)間戳,而是通過數(shù)據(jù)的先后順序+采樣率來記載),使得數(shù)據(jù)量增加2-3倍;一個(gè)實(shí)際的測試數(shù)據(jù)OLAP系統(tǒng)存儲多年的測試數(shù)據(jù),即便采用分區(qū)表等技術(shù),傳統(tǒng)的關(guān)系數(shù)據(jù)庫對于如此海里的數(shù)據(jù)仍然不能提供足夠的數(shù)據(jù)支持。創(chuàng)建表,該表帶有BLOB字段,逐個(gè)物理量將最底層數(shù)據(jù)按照時(shí)間戳順序,依次導(dǎo)入到BLOB字段中,每個(gè)物理量對應(yīng)一個(gè)BLOB數(shù)據(jù);[0027](2)第二步,讀取第一步產(chǎn)生的BLOB數(shù)據(jù),進(jìn)行統(tǒng)一規(guī)范處理,調(diào)用相應(yīng)程序,力口上相應(yīng)的實(shí)驗(yàn)ID,以實(shí)驗(yàn)+物理量形式存儲。采用二進(jìn)制形式對測試數(shù)據(jù)進(jìn)行特殊處理、壓縮,以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中,即每個(gè)實(shí)驗(yàn)的每個(gè)物理量都對應(yīng)一個(gè)BL0B,以支持各種復(fù)雜的用戶查詢。由于樹形分層存儲模式最大的數(shù)據(jù)量位于樹的葉子節(jié)點(diǎn),即最底層,因此對于最底層數(shù)據(jù)采用大對象(BLOB)形式存儲,原始測試數(shù)據(jù)文件使用FTP或者BFILE形式存儲以支持用戶下載原始文件時(shí)全文件讀?。辉诒4嬖紲y試數(shù)據(jù)文件的前提下,抽取原始測試波形數(shù)據(jù),以二進(jìn)制文件形式進(jìn)行單物理量再構(gòu)造,數(shù)據(jù)存儲在數(shù)據(jù)庫的BLOB字段中,這樣既可以消除記錄關(guān)系化記載時(shí)同時(shí)存儲的時(shí)間戳,降低存儲空間;每個(gè)BLOB對應(yīng)一個(gè)實(shí)驗(yàn)的一個(gè)物理量,消除了同一時(shí)間戳多個(gè)物理量同時(shí)存儲帶來的讀取代價(jià);第二步得到以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中的最底層分層抽點(diǎn)數(shù)據(jù);[0028](3)第三步,讀取第二步處理結(jié)果數(shù)據(jù),做偏移量統(tǒng)一處理,在數(shù)據(jù)庫訪問中,完全拋棄傳統(tǒng)關(guān)系數(shù)據(jù)庫的索引+ROWID形式,而是采用二進(jìn)制數(shù)據(jù)檢索技術(shù),實(shí)現(xiàn)起止點(diǎn)+偏移量(OFFSET)的訪問方式,提高查詢效率,最終得到以起止點(diǎn)+偏移量(OFFSET)存在的底層分層抽點(diǎn)數(shù)據(jù)。[0029]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理方法,實(shí)現(xiàn)步驟如下:[0030](I)建立與外部構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺模塊數(shù)據(jù)接口,接收外部五個(gè)測試平臺產(chǎn)生測試數(shù)據(jù),建立Oracle鏡像,實(shí)現(xiàn)定時(shí)讀取外部五個(gè)測試平臺產(chǎn)生的測試數(shù)據(jù),存儲于Oracle數(shù)據(jù)庫服務(wù)器,供分層抽點(diǎn)模塊、文檔管理模塊調(diào)用;[0031](2)經(jīng)過接口模塊產(chǎn)生的測試數(shù)據(jù),由分層抽點(diǎn)模塊對其進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu),實(shí)際系統(tǒng)執(zhí)行時(shí)用戶查詢由樹根部向葉子端逐層訪問,降低讀取海量曲線數(shù)據(jù)帶來的磁盤與網(wǎng)絡(luò)負(fù)載,生成分層數(shù)據(jù);[0032](3)聚簇存儲模塊讀取分層抽點(diǎn)模塊產(chǎn)生的分層數(shù)據(jù),對分層數(shù)據(jù)采用聚簇的形式存儲,以實(shí)驗(yàn)ID+時(shí)間戳為聚簇因子存儲曲線數(shù)據(jù),控制數(shù)據(jù)存儲位置,生成聚簇?cái)?shù)據(jù);[0033](4)索引組織表模塊調(diào)用聚簇存儲模塊產(chǎn)生的分層數(shù)據(jù),采用索引組織表的形式存儲,降低存儲空間,減少索引-表的指針訪問,數(shù)據(jù)完全存儲在索引結(jié)構(gòu)上,避免通過指針訪問表,加速大規(guī)模并發(fā)數(shù)據(jù)庫訪問效率,生成的索引組織表存儲數(shù)據(jù);[0034](5)系統(tǒng)通過大對象存儲模塊讀取聚簇存儲模塊產(chǎn)生的最底層數(shù)據(jù),采用大對象(BLOB)形式存儲,以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中,以支持各種復(fù)雜的用戶查詢,每個(gè)BLOB對應(yīng)一個(gè)實(shí)驗(yàn)的一個(gè)物理量,在數(shù)據(jù)庫訪問中,采用二進(jìn)制數(shù)據(jù)檢索技術(shù),通過父層起始點(diǎn)時(shí)間戳以及每個(gè)數(shù)據(jù)存儲單位的大小,計(jì)算出起始點(diǎn)的偏移量(OFFSET);通過父層起始點(diǎn)時(shí)間戳、讀取的時(shí)間長度每個(gè)數(shù)據(jù)存儲單位的大小,計(jì)算出讀取終點(diǎn)的偏移量(OFFSET)。最終實(shí)現(xiàn)起止點(diǎn)偏移量+終止點(diǎn)偏移量的大對象訪問方式,提高查詢效率。大對象存儲的BLOB產(chǎn)生數(shù)據(jù)供綜合查詢模塊調(diào)用;[0035](6)系統(tǒng)通過文檔管理模塊讀取數(shù)據(jù)接口模塊產(chǎn)生的文檔數(shù)據(jù),實(shí)現(xiàn)測試用例與測試文檔管理模塊實(shí)現(xiàn)全過程文檔管理,包括測試用例、測試結(jié)果、任務(wù)書、需求分析報(bào)告、階段驗(yàn)收報(bào)告、最終驗(yàn)收報(bào)告、線路圖、用戶手冊等,實(shí)現(xiàn)版本控制,產(chǎn)生文檔數(shù)據(jù)供綜合查詢模塊調(diào)用;[0036](7)用戶通過綜合查詢模塊讀取文檔管理模塊產(chǎn)生的文檔數(shù)據(jù)以及索引組織表模塊、大對象存儲模塊的測試數(shù)據(jù),為用戶通過型號名稱、版本號和關(guān)鍵字檢索測試用例及測試結(jié)果功能,為用戶提供一個(gè)基于關(guān)系數(shù)據(jù)、測試數(shù)據(jù)、文檔數(shù)據(jù)三類數(shù)據(jù)混合查詢的查詢平臺。綜合查詢模塊實(shí)現(xiàn)集中、統(tǒng)一的多角度、多功能、可對比的圖形化用戶查詢界面,以及測試用例、測試結(jié)果高度共享,確保用戶更為便捷的對比來自各五個(gè)測試平臺的仿真數(shù)據(jù),查詢結(jié)果以報(bào)表形式輸出或以多種數(shù)據(jù)格式導(dǎo)出。[0037]與現(xiàn)有技術(shù)相比較,本發(fā)明具有如下的有益效果:[0038](I)分層抽點(diǎn)算法,逐層降低數(shù)據(jù)量,抽點(diǎn)算法既保留原始數(shù)據(jù)的特征數(shù)據(jù),將每次用戶訪問的I/o代價(jià)控制在一定范圍內(nèi),大大的提高了查詢性能,此外這種存儲形式關(guān)系數(shù)據(jù)訪問的重用性更高;[0039](2)采用聚簇存儲技術(shù),確保邏輯上相鄰的仿真測試數(shù)據(jù)物理上也是相鄰存儲,使得每次讀取數(shù)據(jù)對磁盤都是連續(xù)訪問,避免磁盤數(shù)據(jù)庫最不擅長的隨機(jī)訪問,減少讀取數(shù)據(jù)塊數(shù);[0040](3)采用索引組織表及BLOB大對象技術(shù),進(jìn)一步降低存儲空間,減少大規(guī)模并發(fā)訪問代價(jià),通過起始點(diǎn)+偏移量技術(shù)讀取測試數(shù)據(jù),加速最底層數(shù)據(jù)的訪問速度,彌補(bǔ)了傳統(tǒng)關(guān)系數(shù)據(jù)庫對于超海量數(shù)據(jù)訪問性能支持的不足?!緦@綀D】【附圖說明】[0041]圖1為本發(fā)明系統(tǒng)組成示意圖;[0042]圖2為本分層的抽點(diǎn)模塊實(shí)現(xiàn)流程圖;[0043]圖3為本發(fā)明的聚簇存儲模塊實(shí)現(xiàn)流程圖;[0044]圖4為本發(fā)明的索引組織表模塊實(shí)現(xiàn)流程圖;[0045]圖5為本發(fā)明的大對象存儲模塊實(shí)現(xiàn)流程圖;[0046]圖6為本發(fā)明的文檔管理模塊實(shí)現(xiàn)流程圖?!揪唧w實(shí)施方式】[0047]本發(fā)明中面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)依托Oracle數(shù)據(jù)庫框架,實(shí)現(xiàn)對構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺和在軌維護(hù)支持環(huán)境五個(gè)模塊所產(chǎn)生的仿真數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)管理及有機(jī)集成,并具有較強(qiáng)圖表分析、交互查詢、綜合數(shù)據(jù)對比功能,實(shí)現(xiàn)對測試用例和測試結(jié)果的共享查看、比對分析以及報(bào)表輸出,此外統(tǒng)一衛(wèi)星仿真數(shù)據(jù)綜合分析平臺可以支持多個(gè)型號和多測試數(shù)據(jù)版本。[0048]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)是面向設(shè)計(jì)數(shù)據(jù)與技術(shù)數(shù)據(jù)管理需求,方便快捷地實(shí)現(xiàn)數(shù)據(jù)文件管理的軟件平臺。統(tǒng)一衛(wèi)星仿真數(shù)據(jù)綜合分析系統(tǒng)將融合現(xiàn)有分布式數(shù)據(jù)管理、分布式文件管理、分布式數(shù)據(jù)庫系統(tǒng)等諸多功能,提供對整個(gè)系統(tǒng)的產(chǎn)生的各類仿真測試數(shù)據(jù)的存儲、備份、查詢、權(quán)限控制,安全管理等功能。[0049]用戶可以通過面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)對整個(gè)系統(tǒng)的產(chǎn)生的各類數(shù)據(jù),包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行多角度混合查詢、測試試驗(yàn)技術(shù)分析計(jì)算、查詢結(jié)果展示等。[0050]在數(shù)據(jù)管理方面面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)具備真實(shí)性、完整性、可追溯性和時(shí)效性等特點(diǎn)。[0051]更穩(wěn)定的通訊[0052]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)可以對管理子網(wǎng)內(nèi)的連接進(jìn)行良好的監(jiān)控和維護(hù),合理分配網(wǎng)絡(luò)資源,實(shí)現(xiàn)無丟包、無異常斷開、忙碌仲裁、空閑自行關(guān)閉等的穩(wěn)定性標(biāo)準(zhǔn)。[0053]更統(tǒng)一、集中的數(shù)據(jù)管理[0054]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)可以對管理子網(wǎng)內(nèi)的各種類型數(shù)據(jù)進(jìn)行集中統(tǒng)一管理。將結(jié)構(gòu)化、半結(jié)構(gòu)化的仿真測試數(shù)據(jù)進(jìn)行關(guān)系化處理,包括模擬波形、數(shù)字波形,建立非結(jié)構(gòu)化的各類文檔等數(shù)據(jù)與仿真試驗(yàn)關(guān)系數(shù)據(jù)之間的緊密聯(lián)系??蔀橛脩籼峁┗诙喾N數(shù)據(jù)類型的混合查詢。[0055]更高的查詢效率[0056]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)不僅將各種類型數(shù)據(jù)集中存儲于數(shù)據(jù)庫中,而且將一些對試驗(yàn)數(shù)據(jù)的復(fù)雜處理操作也在數(shù)據(jù)庫中以存儲過程、函數(shù)(指數(shù)據(jù)庫內(nèi)部)、觸發(fā)器、外部函數(shù)等形式實(shí)現(xiàn),使得最大程度的實(shí)現(xiàn)數(shù)據(jù)與計(jì)算相靠攏,客戶端將用戶查詢處理發(fā)送數(shù)據(jù)庫服務(wù)器,由于服務(wù)器具備一定的對技術(shù)數(shù)據(jù)復(fù)雜運(yùn)算處理能力,只需將執(zhí)行結(jié)果返回給客戶端。此外統(tǒng)一衛(wèi)星仿真數(shù)據(jù)綜合分析系統(tǒng)使用分層索引技術(shù),降低用戶單次查詢用于圖形化顯示的數(shù)據(jù)量。這些技術(shù)避免的大規(guī)模的數(shù)據(jù)遷移,從而降低網(wǎng)絡(luò)負(fù)載,提高查詢效率。[0057]更便捷的操作[0058]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)使用更加強(qiáng)大的郵件快捷菜單和拖拽式操作以及完全圖形化的可視界面力求在使用上做到輕松便捷。[0059]更靈活的配置需求[0060]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)支持與目前主流的各種數(shù)據(jù)庫系統(tǒng)無縫接口,包括Oracle、SqlServer、MySql等,并且可以實(shí)現(xiàn)無縫連接和快捷的配置,使用戶在使用上和配置選擇上靈活以便。[0061]系統(tǒng)開發(fā)環(huán)境[0062]軟件開發(fā)環(huán)境是建立在Redhat企業(yè)版6.1操作系統(tǒng)平臺下的0RACLE11.2.0.2數(shù)據(jù)庫。數(shù)據(jù)庫層開發(fā)采用ORACLE官方企業(yè)管理器以及PL/SQLDeveloper,展示層開發(fā)采用ORACLE超文本數(shù)據(jù)庫以及ORACLEAPEX。[0063]系統(tǒng)運(yùn)行環(huán)境[0064]操作系統(tǒng):服務(wù)器要求安裝Redhat企業(yè)版6.1;測試臺式機(jī)要求安裝windowsXPSP3系統(tǒng)。[0065]瀏覽器:FIREF0X5.0/IE6.0及其以上版本的瀏覽器。[0066]其他:虛擬機(jī)等。[0067]面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng)是依托Oracle數(shù)據(jù)庫框架,實(shí)現(xiàn)對構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺和在軌維護(hù)支持環(huán)境五個(gè)模塊所產(chǎn)生的仿真數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)管理、有機(jī)集成、交互查詢、綜合數(shù)據(jù)對比功能的綜合平臺。統(tǒng)一衛(wèi)星仿真數(shù)據(jù)綜合分析系統(tǒng)支持抽點(diǎn)存儲、波形顯示、數(shù)據(jù)對比、統(tǒng)計(jì)查詢等功能;支持對測試中產(chǎn)生的各類文件進(jìn)行多版本管理及回溯等功能;為用戶提供自定義表的創(chuàng)建、編輯、查詢、統(tǒng)計(jì)等功能;對用戶、實(shí)驗(yàn)進(jìn)行統(tǒng)一的權(quán)限管理。[0068]從結(jié)構(gòu)組成上劃分,它包含測試數(shù)據(jù)接口模塊、測試數(shù)據(jù)集中清洗與CUBE生成模塊、測試用例與測試文檔管理模塊、測試數(shù)據(jù)綜合分析模塊四個(gè)組成部分。其中測試數(shù)據(jù)集中清洗與CUBE生成模塊包含分層抽點(diǎn)模塊、聚簇存儲模塊、索引組織表模塊、大對象存儲模塊。見圖1針對修改后的權(quán)利要求作適應(yīng)性的修改,[0069]構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺和在軌維護(hù)支持環(huán)境五個(gè)模塊所產(chǎn)生的各種類型的仿真數(shù)據(jù)以及測試文檔通過仿真測試數(shù)據(jù)接口模塊實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入系統(tǒng),將結(jié)構(gòu)化的關(guān)系數(shù)據(jù)或者半結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入到仿真測試數(shù)據(jù)集中清洗與CUBE生成模塊,測試用例、測試結(jié)果等文檔導(dǎo)入到測試用例與測試文檔管理模塊進(jìn)行文件版本管理;仿真測試數(shù)據(jù)集中清洗與CUBE生成模塊對測試數(shù)據(jù)進(jìn)行去除臟數(shù)據(jù)統(tǒng)一規(guī)范,采用相同的數(shù)據(jù)模式存儲,對統(tǒng)一規(guī)范的數(shù)據(jù)進(jìn)行分層抽點(diǎn)、聚簇存儲、二進(jìn)制處理等;測試用例與測試文檔管理模塊將分項(xiàng)目、分版本的保存測試用例、測試結(jié)果、任務(wù)書、需求分析報(bào)告、階段驗(yàn)收報(bào)告、最終驗(yàn)收報(bào)告、線路圖、用戶手冊等各類型文檔;仿真數(shù)據(jù)APEX綜合分析模塊通過型號名稱、版本號和關(guān)鍵字檢索測試用例及測試結(jié)果功能,實(shí)現(xiàn)集中、統(tǒng)一的多角度、多功能、可對比的圖形化用戶混合查詢界面,用戶可以便捷的對比來自多個(gè)項(xiàng)目、多個(gè)物理量的仿真測試數(shù)據(jù),查詢結(jié)果以報(bào)表形式輸出或以多種數(shù)據(jù)格式導(dǎo)出。[0070]測試數(shù)據(jù)接口模塊[0071]數(shù)據(jù)接口模塊可以建立與構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺模塊數(shù)據(jù)接口,建立Oracle鏡像,實(shí)現(xiàn)定時(shí)讀取新產(chǎn)生的工程數(shù)據(jù),存儲于Oracle數(shù)據(jù)庫服務(wù)器;[0072]數(shù)據(jù)集中清洗與CUBE生成模塊[0073]數(shù)據(jù)集中清洗與CUBE生成模塊負(fù)責(zé)對讀入的構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺四模塊數(shù)據(jù)進(jìn)行清洗,去除臟數(shù)據(jù),進(jìn)行統(tǒng)一規(guī)范,采用相同的數(shù)據(jù)模式存儲,并且采用OLAP計(jì)算方法,對統(tǒng)一規(guī)范的數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算,采用聚簇存儲、實(shí)體化視圖、B+TREE索引等技術(shù),對各層CUBE進(jìn)行優(yōu)化,以確保合理的查詢響應(yīng)時(shí)間,包含分層抽點(diǎn)模塊、聚簇存儲模塊、索引組織表模塊、大對象存儲模塊,見圖2。[0074]經(jīng)過接口模塊產(chǎn)生的測試數(shù)據(jù),由分層抽點(diǎn)模塊對其進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu),實(shí)際系統(tǒng)執(zhí)行時(shí)用戶查詢由樹根部向葉子端逐層訪問,降低讀取海量曲線數(shù)據(jù)帶來的磁盤與網(wǎng)絡(luò)負(fù)載,生成分層數(shù)據(jù)。[0075]—種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理方法,在基于分層抽點(diǎn)、聚簇、索引組織表、大對象存儲等一系列DBMS技術(shù)基礎(chǔ)上進(jìn)行大規(guī)模并發(fā)OLAP測試數(shù)據(jù)查詢處理,其特征在于:[0076]所述測試曲線數(shù)據(jù)分層抽點(diǎn)技術(shù)包括如下步驟:[0077](I)第一步,從數(shù)據(jù)接口模塊取得仿真數(shù)據(jù),對仿真數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu)。樹的最底層,即葉子節(jié)點(diǎn),存放全部真實(shí)仿真數(shù)據(jù);其他層依次用樹形分層算法以各種精度的存儲其下層的近似仿真數(shù)據(jù),即一定數(shù)量的時(shí)間戳相鄰的仿真數(shù)據(jù),取最大值和最小值存儲于父層。[0078]每個(gè)模塊某個(gè)型號單個(gè)測試版本的仿真測試數(shù)據(jù)往往超過100萬條,最大可達(dá)到千萬級,使用這些數(shù)據(jù)生成圖表時(shí),由于不可避免產(chǎn)生的內(nèi)存與硬盤數(shù)據(jù)交換,即I/o數(shù)據(jù)塊,會造成查詢相應(yīng)時(shí)間不可接受,因此需要對仿真數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu)。[0079]樹的最底層,即葉子節(jié)點(diǎn),存放全部真實(shí)仿真數(shù)據(jù),這個(gè)層次的數(shù)據(jù)量最大,每個(gè)實(shí)驗(yàn)的仿真測試數(shù)據(jù)可以容納千萬條記錄;其他層依次用樹形分層算法以各種精度的存儲其下層的近似仿真數(shù)據(jù),即一定數(shù)量的時(shí)間戳相鄰的仿真數(shù)據(jù),取最大值和最小值存儲于父層,這種分層抽取的方法既成指數(shù)的逐層降低存儲數(shù)據(jù),又保留了測試數(shù)據(jù)曲線的特征值,沒有丟失重要的特征點(diǎn)。[0080]通過這種分層抽點(diǎn)降低數(shù)據(jù)量的CUBE模式,使得前段測試數(shù)據(jù)曲線顯示時(shí)每次曲線產(chǎn)生僅需千條數(shù)據(jù),縮短查詢相應(yīng)時(shí)間。例如實(shí)際系統(tǒng)執(zhí)行時(shí)用戶查詢由樹根部向葉子端逐層訪問,每次讀取的數(shù)據(jù)量不超過2000個(gè),以降低讀取海量曲線數(shù)據(jù)帶來的磁盤與網(wǎng)絡(luò)負(fù)載,提高查詢效率。[0081](2)第二步,系統(tǒng)根據(jù)第一步的抽取結(jié)果,根據(jù)每個(gè)實(shí)驗(yàn)的采集數(shù)據(jù)量,自動計(jì)算出需要分層的層數(shù)以及每層的抽點(diǎn)率,調(diào)用相應(yīng)的抽點(diǎn)算法程序進(jìn)行分層處理,得到分層后的抽點(diǎn)數(shù)據(jù)。[0082](3)第三步,系統(tǒng)根據(jù)第二步的抽點(diǎn)結(jié)果,采用OLAP計(jì)算方法,對統(tǒng)一規(guī)范的數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算,進(jìn)行平滑處理,近似計(jì)算既要保留原始數(shù)據(jù)的特征數(shù)據(jù)(最大值,最小值),還要使得近似曲線盡可能平滑,方便用戶正確理解數(shù)據(jù)的趨勢變化。[0083]同時(shí)通過傳統(tǒng)關(guān)系數(shù)據(jù)庫技術(shù)建立穩(wěn)定、高效的存儲模式結(jié)構(gòu),對于數(shù)據(jù)量較小的表采取高范式的模式設(shè)計(jì),避免出現(xiàn)數(shù)據(jù)冗余或不一致的情況;對于數(shù)據(jù)量較大且很少修改的表,數(shù)據(jù)可以適當(dāng)允許冗余,以保證查詢時(shí)連接所產(chǎn)成的巨大磁盤代價(jià),確保查詢相應(yīng)時(shí)間。[0084]通過傳統(tǒng)關(guān)系數(shù)據(jù)庫技術(shù)建立穩(wěn)定、高效的存儲模式結(jié)構(gòu),對于數(shù)據(jù)量較小的表采取高范式的模式設(shè)計(jì),避免出現(xiàn)數(shù)據(jù)冗余或不一致的情況;對于數(shù)據(jù)量較大且很少修改的表,數(shù)據(jù)可以適當(dāng)允許冗余,以保證查詢時(shí)連接所產(chǎn)成的巨大磁盤代價(jià),確保查詢相應(yīng)時(shí)間。最終輸出平滑的分層抽點(diǎn)數(shù)據(jù)。[0085]所述聚簇存儲模塊具體實(shí)現(xiàn)如下:[0086](I)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否進(jìn)行聚簇處理,傳統(tǒng)關(guān)系數(shù)據(jù)庫堆表的存儲模式并不適合仿真實(shí)驗(yàn)測試曲線數(shù)據(jù)存儲與讀取。對仿真實(shí)驗(yàn)測試曲線數(shù)據(jù)存儲與訪問有其獨(dú)特的方式。首先由于一般來說曲線數(shù)據(jù)被加載到數(shù)據(jù)庫后極少發(fā)生改變,即修改或個(gè)別條元組增刪,因此可以忽略因此帶來的元組遷移代價(jià);其次對仿真實(shí)驗(yàn)測試曲線數(shù)據(jù)訪問并不像傳統(tǒng)關(guān)系數(shù)據(jù)那樣存在大量的隨機(jī)訪問,由于大部分操作是讀取曲線或曲線的一部分,因此多數(shù)發(fā)生的時(shí)間戳連續(xù)的數(shù)據(jù)訪問。最理想的存儲方式是時(shí)間戳相鄰的曲線數(shù)據(jù),物理上也相鄰存儲,這樣即可以最大限度的降低數(shù)據(jù)訪問時(shí)帶來的I/o交換。[0087]聚簇存儲模塊讀取分層抽點(diǎn)模塊產(chǎn)生的分層數(shù)據(jù),對其采用聚簇的形式存儲,以實(shí)驗(yàn)ID+時(shí)間戳為聚簇因子存儲曲線數(shù)據(jù),控制數(shù)據(jù)存儲位置,生成聚簇?cái)?shù)據(jù)。采用聚簇存儲、實(shí)體化視圖、B+TREE索引等技術(shù),將時(shí)間戳臨近的仿真數(shù)據(jù)在物理地址上連續(xù)存放,以降低查詢過程中讀取的數(shù)據(jù)塊數(shù),實(shí)現(xiàn)對各層CUBE數(shù)據(jù)進(jìn)行優(yōu)化,以確保合理的查詢響應(yīng)時(shí)間。[0088]傳統(tǒng)商用關(guān)系數(shù)據(jù)庫通常默認(rèn)采用堆表(heaptable)形式存儲每條元組(tuple),即記錄,記錄存儲的物理位置由DBMS根據(jù)當(dāng)時(shí)物理塊情況決定,即使連續(xù)插入的元組,物理位置上也不一定連續(xù)存放,這樣存儲方式是為適應(yīng)在多數(shù)OLTP情況下元組發(fā)生改動而設(shè)計(jì),可以在元組發(fā)生增、刪、改時(shí)盡量降低元組遷移。[0089](2)第二步,根據(jù)第一步的判斷結(jié)果是否進(jìn)行聚簇處理,如果是,則系統(tǒng)采用聚簇的形式存儲測試曲線數(shù)據(jù),這種存儲模式的特點(diǎn)是,數(shù)據(jù)存儲位置可以控制,但發(fā)生修改時(shí)代價(jià)高。以實(shí)驗(yàn)ID+時(shí)間戳為聚簇因子存儲曲線數(shù)據(jù),合理的利用聚簇的優(yōu)點(diǎn),又沒有發(fā)生過多的記錄修改時(shí)數(shù)據(jù)遷移代價(jià)。[0090]經(jīng)過分層、聚簇模塊處理的數(shù)據(jù)經(jīng)過特定條件判斷,分別以索引組織表和大對象存儲形式進(jìn)行存儲,判斷讀取數(shù)據(jù)是否為最底層數(shù)據(jù),如果是,則以大對象形式進(jìn)行存儲,如果否,則以索引組織表形式進(jìn)行存儲,見圖4。[0091]所述索引組織表存儲模塊具體實(shí)現(xiàn)如下:[0092](I)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否為最底層數(shù)據(jù),如果否,則采用索引組織表進(jìn)行測試數(shù)據(jù)的存儲方式,打破傳統(tǒng)同一實(shí)驗(yàn)同一時(shí)間戳同時(shí)多個(gè)物理量的形式,將其按照實(shí)驗(yàn)+單個(gè)物理量為單位進(jìn)行存儲,同一實(shí)驗(yàn)的多個(gè)物理量之間存儲聯(lián)系不再存在,而是通過數(shù)據(jù)庫主外鍵形式保持邏輯聯(lián)系。[0093]索引組織表模塊調(diào)用聚簇存儲模塊產(chǎn)生的分層數(shù)據(jù),采用索引組織表的形式存儲,降低存儲空間,減少索引-表的指針訪問,數(shù)據(jù)完全存儲在索引結(jié)構(gòu)上,避免通過指針訪問表,加速大規(guī)模并發(fā)數(shù)據(jù)庫訪問效率,生成的索引組織表存儲數(shù)據(jù)。[0094](2)第二步,清除原表中數(shù)據(jù),讀取第一步處理結(jié)果,得到索引組織表,除了最底層葉子節(jié)點(diǎn)外,其他層分層抽點(diǎn)數(shù)據(jù)采用索引組織表的形式存儲,可以降低存儲空間,減少索引-表的指針訪問,數(shù)據(jù)完全存儲在索引結(jié)構(gòu)上,避免通過指針訪問表,從而進(jìn)一步降低I/O代價(jià),加速大規(guī)模并發(fā)數(shù)據(jù)庫訪問效率,提高查詢性能。最終得到以索引組織表形式存在的分層抽點(diǎn)數(shù)據(jù)。[0095]由于測試曲線數(shù)據(jù)采集方式等原因,多數(shù)測試數(shù)據(jù)的存儲形式為同一時(shí)刻,即時(shí)間戳,多個(gè)物理量(可能上千個(gè))測試曲線數(shù)據(jù)同時(shí)存儲,使得同一數(shù)據(jù)塊上存儲多物理量的測試曲線數(shù)據(jù)。這一存儲形式有利于數(shù)據(jù)采集時(shí)多個(gè)物理量的快速數(shù)據(jù)導(dǎo)入,對于原有的單機(jī)文件模式訪問數(shù)據(jù)讀取性能影響并不大。[0096]在大規(guī)模并發(fā)數(shù)據(jù)庫訪問中,多數(shù)用戶每次查詢可能只涉及一次測試的I個(gè)或幾個(gè)物理量整段或局部的值變化,有時(shí)更多的是關(guān)心多個(gè)測試間某一或某幾個(gè)物理量的差異,很少涉及測試的所有物理量數(shù)據(jù)。采用傳統(tǒng)存儲方式會使得用戶僅訪問I個(gè)或幾個(gè)物理量數(shù)據(jù)時(shí),系統(tǒng)會讀取整個(gè)文件的數(shù)據(jù)(由于同一數(shù)據(jù)塊上存儲多物理量的數(shù)據(jù)),造成訪問延遲。此外用戶訪問原始測試時(shí),需要將整個(gè)原始文件下載,打開,進(jìn)行文件操作和數(shù)據(jù)讀取。而很多時(shí)候這種訪問僅涉及原始文件中極少的局部數(shù)據(jù),因此造成數(shù)據(jù)庫1/0,和網(wǎng)絡(luò)傳輸?shù)臉O大浪費(fèi)。例如某一試驗(yàn)采集了100個(gè)物理量兩天內(nèi)數(shù)據(jù),共10個(gè)GB,假設(shè)每個(gè)物理量的數(shù)據(jù)大致相同,都是100MB,當(dāng)用戶只訪問其中I個(gè)物理量數(shù)據(jù)時(shí),由于磁盤數(shù)據(jù)庫讀取是以物理塊為單位,同一數(shù)據(jù)塊上存儲多物理量,所讀取的數(shù)據(jù)中,僅有1/100是用戶本次查詢所需要的結(jié)果,但系統(tǒng)卻不得不讀取整個(gè)10個(gè)GB的數(shù)據(jù),造成極大的系統(tǒng)開銷。在實(shí)際仿真測試中,測試數(shù)據(jù)很多時(shí)超過100個(gè)物理量,造成無形數(shù)據(jù)庫系統(tǒng)資源耗費(fèi)的現(xiàn)象更加嚴(yán)重。[0097]所述大對象存儲模塊具體實(shí)現(xiàn)如下:[0098](I)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否為最底層數(shù)據(jù),如果是,則采用大對象(BLOB)形式存儲最底層數(shù)據(jù)。測試數(shù)據(jù)數(shù)據(jù)量巨大(相對于關(guān)系數(shù)據(jù)庫),單個(gè)測試實(shí)驗(yàn)單個(gè)物理量數(shù)據(jù)量往往超過1000萬條,甚至上億;當(dāng)測試數(shù)據(jù)進(jìn)入關(guān)系數(shù)據(jù)庫被關(guān)系化,由于傳統(tǒng)數(shù)據(jù)庫沒有記錄順序的界定,因此需要增加時(shí)間戳列(文件形式存儲測試數(shù)據(jù)不需要存儲時(shí)間戳,而是通過數(shù)據(jù)的先后順序+采樣率來記載),使得數(shù)據(jù)量增加2-3倍。一個(gè)實(shí)際的測試數(shù)據(jù)OLAP系統(tǒng)存儲多年的測試數(shù)據(jù),即便采用分區(qū)表等技術(shù),傳統(tǒng)的關(guān)系數(shù)據(jù)庫對于如此海里的數(shù)據(jù)仍然不能提供足夠的數(shù)據(jù)支持。同時(shí)這些數(shù)據(jù)完全關(guān)系也沒有必要。[0099](2)第二步,讀取第一步產(chǎn)生的BLOB數(shù)據(jù),進(jìn)行統(tǒng)一規(guī)范處理,加上實(shí)驗(yàn)ID,以實(shí)驗(yàn)+物理量形式存儲,采用二進(jìn)制形式對測試數(shù)據(jù)進(jìn)行特殊處理、壓縮,以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中,即每個(gè)實(shí)驗(yàn)的每個(gè)物理量都對應(yīng)一個(gè)BL0B,以支持各種復(fù)雜的用戶查詢。由于樹形分層存儲模式最大的數(shù)據(jù)量位于樹的葉子節(jié)點(diǎn),即最底層,因此對于最底層數(shù)據(jù)采用大對象(BLOB)形式存儲,原始測試數(shù)據(jù)文件使用FTP或者BFILE形式存儲以支持用戶下載原始文件時(shí)全文件讀取。在保存原始測試數(shù)據(jù)文件的前提下,抽取原始測試波形數(shù)據(jù),以二進(jìn)制文件形式進(jìn)行單物理量再構(gòu)造,數(shù)據(jù)存儲在數(shù)據(jù)庫的BLOB字段中,這樣既可以消除記錄關(guān)系化記載時(shí)同時(shí)存儲的時(shí)間戳,降低存儲空間;每個(gè)BLOB對應(yīng)一個(gè)實(shí)驗(yàn)的一個(gè)物理量,消除了同一時(shí)間戳多個(gè)物理量同時(shí)存儲帶來的讀取代價(jià)。第二步得到以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中的最底層分層抽點(diǎn)數(shù)據(jù)[0100](3)第三步,讀取第二步處理結(jié)果數(shù)據(jù),做偏移量統(tǒng)一處理,在數(shù)據(jù)庫訪問中,完全拋棄傳統(tǒng)關(guān)系數(shù)據(jù)庫的索引+ROWID形式,而是采用二進(jìn)制數(shù)據(jù)檢索技術(shù),實(shí)現(xiàn)起止點(diǎn)+偏移量(OFFSET)的訪問方式,提高查詢效率。最終得到以起止點(diǎn)+偏移量(OFFSET)存在的底層分層抽點(diǎn)數(shù)據(jù)。[0101]測試用例與測試文檔管理模塊[0102]文檔管理模塊,讀取數(shù)據(jù)接口模塊產(chǎn)生的文檔數(shù)據(jù),實(shí)現(xiàn)測試用例與測試文檔管理模塊實(shí)現(xiàn)全過程文檔管理,包括測試用例、測試結(jié)果、任務(wù)書、需求分析報(bào)告、階段驗(yàn)收報(bào)告、最終驗(yàn)收報(bào)告、線路圖、用戶手冊等,實(shí)現(xiàn)版本控制,產(chǎn)生文檔數(shù)據(jù)供綜合查詢模塊調(diào)用;[0103]數(shù)據(jù)綜合分析模塊[0104]數(shù)據(jù)綜合分析模塊讀取文檔管理模塊產(chǎn)生的文檔數(shù)據(jù)以及索引組織表模塊、大對象存儲模塊的測試數(shù)據(jù),為用戶通過型號名稱、版本號和關(guān)鍵字檢索測試用例及測試結(jié)果功能,實(shí)現(xiàn)集中、統(tǒng)一的多角度、多功能、可對比的圖形化用戶查詢界面,以及測試用例、測試結(jié)果高度共享,確保用戶更為便捷的對比來自各五個(gè)測試平臺的仿真數(shù)據(jù),查詢結(jié)果以報(bào)表形式輸出或以多種數(shù)據(jù)格式導(dǎo)出。[0105]總之,本發(fā)明通過分層抽點(diǎn)、聚簇、索引組織表、大對象存儲等一系列DBMS技術(shù),降低并發(fā)OLAP中測試數(shù)據(jù)訪問中的I/O代價(jià),從而提高并發(fā)查詢的處理能力。本發(fā)明在數(shù)據(jù)庫管理系統(tǒng)中針對I/O性能和并行OLAP處理性能實(shí)現(xiàn)了并發(fā)查詢處理優(yōu)化技術(shù),支持面向I/O性能來優(yōu)化設(shè)置并發(fā)OLAP處理負(fù)載,從而提高了測試數(shù)據(jù)波形顯示的可預(yù)期訪問性能,實(shí)現(xiàn)了大規(guī)模并發(fā)OLAP的測試數(shù)據(jù)查詢的加速處理。[0106]本發(fā)明未詳細(xì)闡述部分屬于本領(lǐng)域技術(shù)人員的公知技術(shù)。[0107]以上對本發(fā)明所提供的面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理方法進(jìn)行了詳細(xì)的說明。對本領(lǐng)域的技術(shù)人員而言,在不背離本發(fā)明實(shí)質(zhì)精神的前提下對它所做的任何顯而易見的改動,都將構(gòu)成對本發(fā)明專利權(quán)的侵犯,將承擔(dān)相應(yīng)的法律責(zé)任?!緳?quán)利要求】1.一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng),其特征在于包括:數(shù)據(jù)接口模塊、分層抽點(diǎn)模塊、聚簇存儲模塊、索引組織表模塊、大對象存儲模塊、文檔管理模塊和綜合查詢模塊;數(shù)據(jù)接口模塊,建立與外部的測試部分的數(shù)據(jù)接口,接收上述外部測試部分產(chǎn)生測試數(shù)據(jù),建立Oracle鏡像,實(shí)現(xiàn)定時(shí)讀取上述外部測試部分產(chǎn)生的測試數(shù)據(jù),存儲于Oracle數(shù)據(jù)庫服務(wù)器,供分層抽點(diǎn)模塊和文檔管理模塊調(diào)用;分層抽點(diǎn)模塊,讀取數(shù)據(jù)接口模塊產(chǎn)生的測試數(shù)據(jù),其進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu),用戶實(shí)際向系統(tǒng)發(fā)出查詢請求時(shí),系統(tǒng)由分層數(shù)據(jù)結(jié)構(gòu)樹根部開始檢索,向葉子端逐層訪問,分層抽點(diǎn)模塊生成分層數(shù)據(jù)供聚簇存儲模塊調(diào)用;聚簇存儲模塊,讀取分層抽點(diǎn)模塊產(chǎn)生的分層數(shù)據(jù),對分層數(shù)據(jù)采用聚簇的形式存儲,以實(shí)驗(yàn)ID和時(shí)間戳兩個(gè)屬性列為聚簇因子存儲曲線數(shù)據(jù),控制數(shù)據(jù)存儲位置,生成聚簇?cái)?shù)據(jù)供索引組織表模塊調(diào)用;索引組織表模塊,讀取分層抽點(diǎn)模塊、聚簇存儲模塊產(chǎn)生的分層數(shù)據(jù),調(diào)用關(guān)系數(shù)據(jù)庫索引組織表函數(shù),采用索引組織表的形式存儲,將分層抽點(diǎn)數(shù)據(jù)轉(zhuǎn)化成索引組織表形式,本模塊所生成的索引組織表存儲數(shù)據(jù)供綜合查詢模塊調(diào)用;大對象存儲模塊,讀取分層抽點(diǎn)模塊、聚簇存儲模塊產(chǎn)生的最底層數(shù)據(jù)采用大對象(BLOB)形式存儲,以實(shí)驗(yàn)和物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中,以支持各種復(fù)雜的用戶查詢,每個(gè)BLOB對應(yīng)一個(gè)實(shí)驗(yàn)的一個(gè)物理量,在用戶對本系統(tǒng)訪問中,采用二進(jìn)制數(shù)據(jù)檢索技術(shù),實(shí)現(xiàn)起止點(diǎn)+偏移量(OFFSET)的訪問方式;大對象存儲的BLOB產(chǎn)生數(shù)據(jù)供綜合查詢模塊調(diào)用;文檔管理模塊,讀取數(shù)據(jù)接口模塊產(chǎn)生的文檔數(shù)據(jù),實(shí)現(xiàn)測試用例與測試文檔管理模塊實(shí)現(xiàn)全過程文檔管理,所述全過程文檔管理包括測試用例、測試結(jié)果、任務(wù)書、需求分析報(bào)告、階段驗(yàn)收報(bào)告、最終驗(yàn)收報(bào)告、線路圖、用戶手冊,實(shí)現(xiàn)版本控制,產(chǎn)生文檔數(shù)據(jù)供綜合查詢模塊調(diào)用;綜合查詢模塊,讀取文檔管理模塊產(chǎn)生的文檔數(shù)據(jù)以及索引組織表模塊、大對象存儲模塊的測試數(shù)據(jù),該模塊的技術(shù)特征為用戶通過型號名稱、版本號和關(guān)鍵字檢索測試用例及測試結(jié)果功能,為用戶提供一個(gè)基于關(guān)系數(shù)據(jù)、測試數(shù)據(jù)、文檔數(shù)據(jù)三類數(shù)據(jù)混合查詢的查詢平臺,查詢結(jié)果以報(bào)表形式輸出或以多種數(shù)據(jù)格式導(dǎo)出。2.根據(jù)權(quán)利要求1所述的一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng),其特征在于:所述分層抽點(diǎn)模塊具體實(shí)現(xiàn)如下:(1)第一步,從數(shù)據(jù)接口模塊取得仿真數(shù)據(jù),對仿真數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算根據(jù)每個(gè)實(shí)驗(yàn)的采集數(shù)據(jù)量,自動計(jì)算出需要分層的層數(shù)以及每層的抽點(diǎn)率,所得分層層數(shù)和抽點(diǎn)率供分層模塊調(diào)用相應(yīng)的抽點(diǎn)算法進(jìn)行分層處理;(2)第二步,根據(jù)第一步的分層的層數(shù)以及每層的抽點(diǎn)率,,生成樹形的數(shù)據(jù)層次結(jié)構(gòu);樹的最底層,即葉子節(jié)點(diǎn),存放全部真實(shí)仿真數(shù)據(jù);其他層依次用樹形分層算法以子層抽點(diǎn)的精度的存儲子層的近似仿真數(shù)據(jù),即一定數(shù)量的時(shí)間戳相鄰的仿真數(shù)據(jù),取最大值和最小值存儲于父層;實(shí)際系統(tǒng)執(zhí)行時(shí)用戶查詢由樹根部向葉子端逐層訪問,每次讀取的數(shù)據(jù)量不超過2000個(gè),所得分層結(jié)構(gòu)供平滑處理模塊調(diào)用;(3)第三步,根據(jù)第二步的分層結(jié)構(gòu),采用OLAP計(jì)算方法,對統(tǒng)一規(guī)范的數(shù)據(jù)進(jìn)行分層的CUBE計(jì)算,進(jìn)行平滑處理,平滑處理算法首先判斷該段數(shù)據(jù)的趨勢,即:上升,下降或平緩,根據(jù)趨勢,調(diào)整最大值、最小值的時(shí)間戳取值,以得到相對平滑曲線,最終輸出平滑的分層抽點(diǎn)數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng),其特征在于:所述聚簇存儲模塊具體實(shí)現(xiàn)如下:(1)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否進(jìn)行聚簇處理。通過采樣,根據(jù)采樣數(shù)據(jù),判斷實(shí)驗(yàn)是否連續(xù),判斷結(jié)果供第二步調(diào)用;(2)第二步,根據(jù)第一步的判斷結(jié)果是否進(jìn)行聚簇處理,如果是,則采用聚簇的形式存儲測試曲線數(shù)據(jù),得到以聚簇形式存儲的分層結(jié)構(gòu)數(shù)據(jù),供索引組織表模塊和大對象模塊調(diào)用。4.根據(jù)權(quán)利要求1所述的一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng),其持征在于:所述索引組織表存儲模塊具體實(shí)現(xiàn)如下:(1)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否為最底層數(shù)據(jù),如果否,則采用調(diào)用算法調(diào)整測試數(shù)據(jù)的存儲方式,抽取傳統(tǒng)同一實(shí)驗(yàn)同一時(shí)間戳同時(shí)多個(gè)物理量的形式的存儲結(jié)構(gòu),將測試數(shù)據(jù)按照實(shí)驗(yàn)+單個(gè)物理量為單位進(jìn)行存儲,同一實(shí)驗(yàn)的多個(gè)物理量之間存儲聯(lián)系不再存在,而是通過數(shù)據(jù)庫主外鍵形式保持邏輯聯(lián)系,得到以單個(gè)物理量為單位的存儲數(shù)據(jù)供第二步調(diào)用;(2)第二步,清除原表中數(shù)據(jù),讀取第一步以單個(gè)物理量為單位的存儲數(shù)據(jù),調(diào)用關(guān)系數(shù)據(jù)庫固有的索引組織標(biāo)存儲函數(shù),導(dǎo)入第一步處理結(jié)果,最終得到以索引組織表形式存在的分層抽點(diǎn)數(shù)據(jù)。5.根據(jù)權(quán)利要求1所述的一種面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理系統(tǒng),其特征在于:所述大對象存儲模塊具體實(shí)現(xiàn)如下:(1)第一步,從分層抽點(diǎn)模塊獲得數(shù)據(jù),判斷是否為最底層數(shù)據(jù),如果是,則采用大對象(BLOB)形式存儲最底層數(shù)據(jù)。創(chuàng)建表,該表帶有BLOB字段,逐個(gè)物理量將最底層數(shù)據(jù)按照時(shí)間戳順序,依次導(dǎo)入到BLOB字段中,得到以每個(gè)物理量為單位的BLOB數(shù)據(jù);(2)第二步,讀取第一步產(chǎn)生的BLOB數(shù)據(jù),進(jìn)行統(tǒng)一規(guī)范處理,為每個(gè)BLOB加上相應(yīng)的實(shí)驗(yàn)ID,以實(shí)驗(yàn)和物理量形式存儲;第二步得到以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中的最底層分層抽點(diǎn)數(shù)據(jù);(3)第三步,讀取第二步處理結(jié)果數(shù)據(jù),做偏移量統(tǒng)一處理,在用戶對本系統(tǒng)訪問中,采用二進(jìn)制數(shù)據(jù)檢索技術(shù),實(shí)現(xiàn)起止點(diǎn)和偏移量(OFFSET)的訪問方式,提高查詢效率,最終得到以起止點(diǎn)+偏移量(OFFSET)存在的底層分層抽點(diǎn)數(shù)據(jù)。6.面向并發(fā)OLAP的測試數(shù)據(jù)分層聚簇查詢處理方法,其特征在于實(shí)現(xiàn)步驟如下:(1)建立與外部構(gòu)件庫、快速軟平臺、全數(shù)字軟平臺、動態(tài)測試平臺模塊數(shù)據(jù)接口,接收外部五個(gè)測試平臺產(chǎn)生測試數(shù)據(jù),建立Oracle鏡像,實(shí)現(xiàn)定時(shí)讀取外部五個(gè)測試平臺產(chǎn)生的測試數(shù)據(jù),存儲于Oracle數(shù)據(jù)庫服務(wù)器,供分層抽點(diǎn)模塊、文檔管理模塊調(diào)用;(2)經(jīng)過接口模塊產(chǎn)生的測試數(shù)據(jù),由分層抽點(diǎn)模塊對其進(jìn)行分層的CUBE計(jì)算,生成樹形的數(shù)據(jù)層次結(jié)構(gòu),實(shí)際系統(tǒng)執(zhí)行時(shí)用戶查詢由樹根部向葉子端逐層訪問,降低讀取海量曲線數(shù)據(jù)帶來的磁盤與網(wǎng)絡(luò)負(fù)載,生成分層數(shù)據(jù);(3)聚簇存儲模塊讀取分層抽點(diǎn)模塊產(chǎn)生的分層數(shù)據(jù),對分層數(shù)據(jù)采用聚簇的形式存儲,以實(shí)驗(yàn)ID和時(shí)間戳為聚簇因子存儲曲線數(shù)據(jù),控制數(shù)據(jù)存儲位置,生成聚簇?cái)?shù)據(jù);(4)索引組織表模塊調(diào)用聚簇存儲模塊產(chǎn)生的分層數(shù)據(jù),調(diào)用關(guān)系數(shù)據(jù)庫固有的索引組織標(biāo)存儲函數(shù),最終得到以索引組織表形式存在的分層抽點(diǎn)數(shù)據(jù);(5)通過大對象存儲模塊讀取聚簇存儲模塊產(chǎn)生的最底層數(shù)據(jù),采用大對象(BLOB)形式存儲,以實(shí)驗(yàn)+物理量為單位存儲于數(shù)據(jù)庫的BLOB字段中,每個(gè)BLOB對應(yīng)一個(gè)實(shí)驗(yàn)的一個(gè)物理量,在用戶訪問本系統(tǒng)時(shí),采用二進(jìn)制數(shù)據(jù)檢索技術(shù),通過父層起始點(diǎn)時(shí)間戳以及每個(gè)數(shù)據(jù)存儲單位的大小,計(jì)算出起始點(diǎn)的偏移量(OFFSET);通過父層起始點(diǎn)時(shí)間戳、讀取的時(shí)間長度每個(gè)數(shù)據(jù)存儲單位的大小,計(jì)算出讀取終點(diǎn)的偏移量(OFFSET),大對象存儲的BLOB產(chǎn)生數(shù)據(jù)供綜合查詢模塊調(diào)用;(6)通過文檔管理模塊讀取數(shù)據(jù)接口模塊產(chǎn)生的文檔數(shù)據(jù),實(shí)現(xiàn)測試用例與測試文檔管理模塊實(shí)現(xiàn)全過程文檔管理,包括測試用例、測試結(jié)果、任務(wù)書、需求分析報(bào)告、階段驗(yàn)收報(bào)告、最終驗(yàn)收報(bào)告、線路圖、用戶手冊,實(shí)現(xiàn)版本控制,產(chǎn)生文檔數(shù)據(jù)供綜合查詢模塊調(diào)用;(7)用戶通過綜合查詢模塊讀取文檔管理模塊產(chǎn)生的文檔數(shù)據(jù)以及索引組織表模塊、大對象存儲模塊的測試數(shù)據(jù),為用戶通過型號名稱、版本號和關(guān)鍵字檢索測試用例及測試結(jié)果功能,為用戶提供一個(gè)基于關(guān)系數(shù)據(jù)、測試數(shù)據(jù)、文檔數(shù)據(jù)三類數(shù)據(jù)混合查詢的查詢平臺?!疚臋n編號】G06F17/30GK103473260SQ201310256140【公開日】2013年12月25日申請日期:2013年6月25日優(yōu)先權(quán)日:2013年6月25日【發(fā)明者】郭尚升,楊孟飛,陳朝暉,黨紀(jì)紅,王振華,關(guān)小川,李博申請人:北京控制工程研究所