一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法
【專利摘要】本發(fā)明提供一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法，屬于計(jì)算機(jī)數(shù)據(jù)庫(kù)性能測(cè)試應(yīng)用【技術(shù)領(lǐng)域】，該發(fā)明開發(fā)了新的數(shù)據(jù)庫(kù)操作系統(tǒng)，采用TPC-H作為測(cè)試基準(zhǔn)，來(lái)測(cè)試衡量數(shù)據(jù)庫(kù)操作系統(tǒng)查詢決策支持方面的能力．為了提高測(cè)試效率、簡(jiǎn)化操作、縮短測(cè)試時(shí)間，使用java程序設(shè)計(jì)語(yǔ)言開發(fā)了自動(dòng)化程序TPCHAuto,用戶可以使用這個(gè)自動(dòng)化工具完成TPC-H模型所要求得全部測(cè)試。
【專利說(shuō)明】一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)庫(kù)性能測(cè)試應(yīng)用【技術(shù)領(lǐng)域】，具體地說(shuō)是一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法。
【背景技術(shù)】
[0003]TPC Benchmark H(TPC-H)是一個(gè)決策支持的基準(zhǔn)，它由一系列面向商務(wù)應(yīng)用的查詢和并行數(shù)據(jù)修改組成?；鶞?zhǔn)里選擇的查詢和組成數(shù)據(jù)庫(kù)的數(shù)據(jù)在商業(yè)上都具有廣泛的代表性并且易于實(shí)現(xiàn)。本基準(zhǔn)闡明了決策支持系統(tǒng)的三個(gè)方面。分析大量的數(shù)據(jù)；執(zhí)行高復(fù)雜度的查詢；回答關(guān)鍵的、經(jīng)常需要回答的商業(yè)問(wèn)題。通過(guò)在可控環(huán)境下執(zhí)行一系列針對(duì)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的查詢，TPC-H評(píng)估各種決策支持系統(tǒng)的性能。模擬生成隨機(jī)查詢，比大多數(shù)OLTP事務(wù)復(fù)雜得多，包括各種各樣的操作和選擇性限制，在受測(cè)試系統(tǒng)的數(shù)據(jù)庫(kù)服務(wù)器端產(chǎn)生高密度的活動(dòng)，在某種遵守特定入口和有一定規(guī)模的數(shù)據(jù)庫(kù)中執(zhí)行，實(shí)現(xiàn)的時(shí)候帶有由于與在線產(chǎn)品數(shù)據(jù)庫(kù)同步而產(chǎn)生的限制。
[0004]如此復(fù)雜的測(cè)試模型，如果通過(guò)手工方式進(jìn)行逐步的測(cè)試需要浪費(fèi)大量的人力和物力，而且測(cè)試結(jié)果的準(zhǔn)確性在這些的復(fù)雜的人工操作中無(wú)法得到保證。

【發(fā)明內(nèi)容】

[0005]由于上述原因，這就需要一個(gè)類似于TPCHAuto這種的完全自動(dòng)化的測(cè)試工具來(lái)實(shí)現(xiàn)，TPCHAuto工具是使用java程序語(yǔ)言編譯的，這也就保證了 TPCHAuto工具同樣具備了 java程序語(yǔ)言的可移植性，安全性，并發(fā)性和支持可視化圖形界面等特點(diǎn)。
[0006]本發(fā)明的目的是提供一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法。
[0007]TPCHAuto工具需具有以下功能模塊:(I)數(shù)據(jù)導(dǎo)入和清理模塊(2)完成測(cè)試事務(wù)模塊(3)統(tǒng)計(jì)和處理測(cè)試時(shí)間模塊(4)操作界面配置模塊；
所訴的數(shù)據(jù)導(dǎo)入和清理模塊設(shè)計(jì)，程序調(diào)用DBGEN工具生成測(cè)試數(shù)據(jù)，將工具生成的固定大小的測(cè)試數(shù)據(jù)，通過(guò)insert語(yǔ)句插入到數(shù)據(jù)庫(kù)中，當(dāng)有新的數(shù)據(jù)需要導(dǎo)入時(shí)，該模塊還將完成舊數(shù)據(jù)的清理工作；
所述的完成測(cè)試事務(wù)模塊設(shè)計(jì)，該模塊完成TPC-H測(cè)試的測(cè)試事務(wù)，PoweriSize測(cè)試和ThroughtputOSize測(cè)試；Power@Size測(cè)試完成一個(gè)查詢流和一個(gè)更新流，Throughtput完成多個(gè)查詢流和多個(gè)更新流、具體幾個(gè)取決于Size的大小，即數(shù)據(jù)量的大??；
所述的統(tǒng)計(jì)和處理測(cè)試時(shí)間模塊設(shè)計(jì)，該模塊將事務(wù)測(cè)試的PowerOSize和ThroughtiSize等測(cè)試的時(shí)間和結(jié)果進(jìn)行統(tǒng)計(jì)和計(jì)算得出最終的測(cè)試結(jié)果QphHOSize和Price-per-QphHiSize,并按照TPC-H規(guī)范生成測(cè)試報(bào)告。
[0008]所述的操作界面配置模塊設(shè)計(jì)，該模塊主要設(shè)計(jì)了 TPCHAuto工具的操作界面，用戶可以通過(guò)這個(gè)操作界面進(jìn)行整個(gè)TPC-H測(cè)試的各個(gè)階段的操作。[0009]TPC-H的數(shù)據(jù)庫(kù)定義和數(shù)據(jù)操作遵循SQL92標(biāo)準(zhǔn)，而有些DBSM并不完全支持SQL92，這要求在保證語(yǔ)義不變的前提下，TPCHAuto具有轉(zhuǎn)移數(shù)據(jù)類型和修改SQL語(yǔ)句的功能。測(cè)試工具需要建立被測(cè)試數(shù)據(jù)庫(kù)中的8張表，裝載用戶制定的數(shù)量的數(shù)據(jù)，在重復(fù)測(cè)試時(shí),還要有清理表中數(shù)據(jù)的功能。
[0010]TPCHAuto可以按照用戶的要求建立查詢流，并為查詢流編號(hào)，同時(shí)控制查詢流不低于TPC-H規(guī)范的最低要求，多個(gè)查詢流和更新流同事像被測(cè)數(shù)據(jù)庫(kù)發(fā)出訪問(wèn)請(qǐng)求，DBMS并發(fā)查詢這些請(qǐng)求。每個(gè)流中的每個(gè)查詢和更新操作的執(zhí)行時(shí)間被測(cè)量和記錄下來(lái)，以XML格式存在文件中。在測(cè)試完成時(shí)，TPCHAuto能夠自動(dòng)機(jī)選測(cè)量指標(biāo)PowerOSize, ThroughputiSize, QphHiSize 和 Price-per-QphHOSize。并按照 TPC-H 規(guī)范生成測(cè)試手艮告。
[0011]TPCHAuto可以使用戶通過(guò)⑶I界面配置參數(shù)，如SF或數(shù)據(jù)量、查詢流個(gè)數(shù)、數(shù)據(jù)庫(kù)服務(wù)器地址、被測(cè)數(shù)據(jù)庫(kù)名稱等，以文字和圖形方式動(dòng)態(tài)先是測(cè)試進(jìn)度。用戶還可以單獨(dú)測(cè)試和自動(dòng)測(cè)試。前者以向?qū)Х绞揭龑?dǎo)用戶進(jìn)行測(cè)試；后者用戶只需要設(shè)置完測(cè)試參數(shù)，TPCHAuto會(huì)自動(dòng)完成全部測(cè)試，中間不需要任何人工干預(yù)。
[0012]本發(fā)明的有益效果是:
自動(dòng)化工具TPCHAuto使用的面向?qū)ο蟪绦蛟O(shè)計(jì)、java語(yǔ)言開發(fā)，圖形用戶界面，實(shí)現(xiàn)了從數(shù)據(jù)裝載到Power測(cè)試和Throughput測(cè)試、生成測(cè)試報(bào)告整個(gè)過(guò)程的自動(dòng)化；從而達(dá)到縮短了測(cè)試時(shí)間、降低測(cè)試難度、提高測(cè)試結(jié)果準(zhǔn)確性等目的。
【專利附圖】

【附圖說(shuō)明】
[0013]附圖1為TPCHAuto結(jié)構(gòu)按面型對(duì)象設(shè)計(jì)，類及類之間的關(guān)系圖。
【具體實(shí)施方式】
[0014]下面參照附圖，對(duì)本發(fā)明的內(nèi)容以具體實(shí)例來(lái)描述其實(shí)現(xiàn)方式及工作過(guò)程。
[0015]TPCHAuto結(jié)構(gòu)上分為6部分，按面型對(duì)象設(shè)計(jì)，類及類之間的關(guān)系具體類結(jié)構(gòu)處理:
MainFrame類:承擔(dān)用戶與TPCHDriver的交互,它包括標(biāo)簽、按扭、文本區(qū)等及響應(yīng)事件。用戶可以在此設(shè)置參數(shù)如DBMS的類型、數(shù)據(jù)庫(kù)的連接信息、數(shù)據(jù)量的大小(SF)。界面中可以動(dòng)態(tài)顯示測(cè)試進(jìn)度信息和測(cè)試結(jié)果信息。
[0016]DataCreater類:根據(jù)用戶指定的數(shù)據(jù)量級(jí)別SF，檢查硬盤空間是否滿足裝載數(shù)據(jù)的需求，然后調(diào)用DBGEN產(chǎn)生數(shù)據(jù)，加載數(shù)據(jù)。
[0017]DbControl類:實(shí)現(xiàn)與數(shù)據(jù)庫(kù)相關(guān)的操作，如數(shù)據(jù)庫(kù)連接、DML和DDL操作等。TPCHDriver 通過(guò) JDBC 連接。
[0018]DbCreater類:初始化數(shù)據(jù)庫(kù)，包括建表和裝載數(shù)據(jù)。TPC-H標(biāo)準(zhǔn)建議每做一次測(cè)試都要清空數(shù)據(jù)庫(kù)，重新裝載數(shù)據(jù)。
[0019]QueryStream類:調(diào)用QGEN產(chǎn)生查詢流，查詢流中包含隨機(jī)編排順序的22個(gè)SELECT 語(yǔ)句。
[0020]RefreshStream類:調(diào)用QGEN產(chǎn)生更新流，流中的INSERT語(yǔ)句和DELETE語(yǔ)句嵌在循環(huán)程序中。[0021]PowerTest類:模擬單個(gè)查詢流和單個(gè)更新流,實(shí)現(xiàn)Power測(cè)試。
[0022]ThoughputTest類:模擬η個(gè)并發(fā)用戶，S卩η個(gè)查詢流。
[0023]AutoTest 類:調(diào)用 DataCreater, DbCreater, QueryStream。
[0024]DBGEN 和 QGEN 處理:
DBGEN和QGEN作為TPC-H規(guī)范的附件，是C源程序，缺省運(yùn)行在Unix操作系統(tǒng)上，訪問(wèn)pad數(shù)據(jù)庫(kù)。他們可以很容易的移植到提供ANSI C編譯器的機(jī)器上。DBGEN和QGEN在使用前需要以makefile, suite為模版,倉(cāng)ll建一個(gè)makefile文件，并填寫makefile文件中的選項(xiàng)，如編譯器CC、數(shù)據(jù)庫(kù)DATABASE、機(jī)器平臺(tái)MACHINE、負(fù)載類型WORKLOAD、目標(biāo)文件OBJ、可執(zhí)行文件EXE和鏈接庫(kù)LIBS等。
[0025]DBGEN是用于產(chǎn)生測(cè)試庫(kù)中的數(shù)據(jù)，生成的數(shù)據(jù)存儲(chǔ)在文本文件中，DATAReady類讀取文本文件中的數(shù)據(jù)，拼裝成INSERT語(yǔ)句，像表中插入數(shù)據(jù)。DBGEN可以帶參數(shù)，如_s參數(shù)調(diào)整規(guī)模、-C參數(shù)控制產(chǎn)生的數(shù)據(jù)次數(shù)、-S參數(shù)選擇執(zhí)行第幾次的產(chǎn)生數(shù)據(jù)、-U參數(shù)調(diào)整更新流的數(shù)目。例如dbgen - s 100 -S1-C 100 (產(chǎn)生第一個(gè)IGB的文件)，dbgen-s 100 -S 2 -C 100 (產(chǎn)生第二個(gè) IGB 的文件)，dbgen - s 100 -U 5 (產(chǎn)生 SF 為100GB的5用戶的更新流)
QGEN用于產(chǎn)生SELECT語(yǔ)句，生成的SELECT語(yǔ)句保存在文本文件。TranQuery類讀取文本文件中的SELECT語(yǔ)句，組成查詢流。QGEN相當(dāng)于一個(gè)文本過(guò)濾器，將$DSS_QUERY/<name>.sql模塊中的帶有“:”的變量替換成自動(dòng)產(chǎn)生的參數(shù)。QGEN也有很多參數(shù)，但在一般情況下，不需要使用這些參數(shù)。
[0026]用戶只需要設(shè)置完測(cè)試參數(shù)，TPCHAuto會(huì)自動(dòng)完成全部測(cè)試，中間不需要任何人工干預(yù)，縮短了測(cè)試時(shí)間、降低測(cè)試難度、提高測(cè)試結(jié)果準(zhǔn)確性。
【權(quán)利要求】
1.一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法，其特征在于開發(fā)了一個(gè)應(yīng)用于TPC-H標(biāo)準(zhǔn)化測(cè)試的自動(dòng)化處理工具TPCHAuto，該TPCHAuto工具需具有以下功能模塊:(I)數(shù)據(jù)導(dǎo)入和清理模塊(2)完成測(cè)試事務(wù)模塊(3)統(tǒng)計(jì)和處理測(cè)試時(shí)間模塊(4)操作界面配置模塊； 所訴的數(shù)據(jù)導(dǎo)入和清理模塊設(shè)計(jì)，程序調(diào)用DBGEN工具生成測(cè)試數(shù)據(jù)，將工具生成的固定大小的測(cè)試數(shù)據(jù)，通過(guò)insert語(yǔ)句插入到數(shù)據(jù)庫(kù)中，當(dāng)有新的數(shù)據(jù)需要導(dǎo)入時(shí)，該模塊還將完成舊數(shù)據(jù)的清理工作； 所述的完成測(cè)試事務(wù)模塊設(shè)計(jì)，該模塊完成TPC-H測(cè)試的測(cè)試事務(wù)，PoweriSize測(cè)試和ThroughtputOSize測(cè)試；Power@Size測(cè)試完成一個(gè)查詢流和一個(gè)更新流，Throughtput完成多個(gè)查詢流和多個(gè)更新流、具體幾個(gè)取決于Size的大小，即數(shù)據(jù)量的大?。? 所述的統(tǒng)計(jì)和處理測(cè)試時(shí)間模塊設(shè)計(jì)，該模塊將事務(wù)測(cè)試的PowerOSize和ThroughtiSize等測(cè)試的時(shí)間和結(jié)果進(jìn)行統(tǒng)計(jì)和計(jì)算得出最終的測(cè)試結(jié)果QphHOSize和Price-per-QphHiSize,并按照TPC-H規(guī)范生成測(cè)試報(bào)告； 所述的操作界面配置模塊設(shè)計(jì)，該模塊主要設(shè)計(jì)了 TPCHAuto工具的操作界面，用戶可以通過(guò)這個(gè)操作界面進(jìn)行整個(gè)TPC-H測(cè)試的各個(gè)階段的操作。
2.根據(jù)權(quán)利要求1所述的一種使用自動(dòng)化程序完成數(shù)據(jù)庫(kù)性能測(cè)試的方法，其特征在于TPCHAuto使用的面向?qū)ο蟪绦蛟O(shè)計(jì)、java語(yǔ)言開發(fā)，圖形用戶界面，可以按照用戶的要求建立查詢流，并為查詢流編號(hào)，同時(shí)控制查詢流不低于TPC-H規(guī)范的最低要求，多個(gè)查詢流和更新流同事像被測(cè)數(shù)據(jù)庫(kù)發(fā)出訪問(wèn)請(qǐng)求，DBMS并發(fā)查詢這些請(qǐng)求；每個(gè)流中的每個(gè)查詢和更新操作的執(zhí)行時(shí)間被測(cè)量和記錄下來(lái)，以XML格式存在文件中；在測(cè)試完成時(shí)，TPCHAuto 能夠自動(dòng)機(jī)選測(cè)量 PoweriSize, ThroughputiSize, QphHiSize 和Price-per-QphHiSize,并按照TPC-H規(guī)范生成測(cè)試報(bào)告。
【文檔編號(hào)】G06F11/36GK103793328SQ201410061771
【公開日】2014年5月14日 申請(qǐng)日期:2014年2月24日 優(yōu)先權(quán)日:2014年2月24日
【發(fā)明者】張遠(yuǎn)斌 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司