一種基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法
【專利摘要】本發(fā)明涉及一種基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，步驟如下：1）使用同構(gòu)數(shù)據(jù)生成模擬器生成模擬數(shù)據(jù)；2）使用XML文件生成器抽取模擬數(shù)據(jù)，生成XML文件；3）在知識(shí)分析數(shù)據(jù)庫(kù)中記錄抽取模擬數(shù)據(jù)、生成每個(gè)XML文件的生成效率參數(shù)；4）將各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件執(zhí)行時(shí)間最短的生成效率參數(shù)作為執(zhí)行標(biāo)準(zhǔn)，基于執(zhí)行標(biāo)準(zhǔn)進(jìn)行實(shí)際環(huán)境數(shù)據(jù)抽取并生成XML文件。通過(guò)使用同構(gòu)數(shù)據(jù)生成模擬器生成模擬數(shù)據(jù)，使用XML文件生成器進(jìn)行真實(shí)環(huán)境數(shù)據(jù)抽取模擬，然后記錄整個(gè)過(guò)程的執(zhí)行結(jié)果，初步建立知識(shí)庫(kù)，以效率最高的模型為參考標(biāo)準(zhǔn)，初步實(shí)現(xiàn)數(shù)據(jù)抽取的高效率；并使用數(shù)據(jù)分析挖掘技術(shù)，不斷完善知識(shí)庫(kù)，逐步提高數(shù)據(jù)抽取的效率。
【專利說(shuō)明】一種基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)據(jù)抽取方法，更具體地說(shuō)，涉及一種基于歷史分析的無(wú)人智能 驅(qū)動(dòng)的數(shù)據(jù)文件生成方法。

【背景技術(shù)】
[0002] -般的數(shù)據(jù)抽取的方式主要分為兩種：一種是將需要的數(shù)據(jù)從數(shù)據(jù)庫(kù)中提取然后 通過(guò)二進(jìn)制數(shù)據(jù)流進(jìn)行傳輸然后存儲(chǔ)到其他數(shù)據(jù)庫(kù)中。另一種是從數(shù)據(jù)庫(kù)中提取需要的數(shù) 據(jù)存儲(chǔ)以文本文件的形式存儲(chǔ)到硬盤(pán)上。
[0003] 對(duì)于從數(shù)據(jù)庫(kù)中提取需要的數(shù)據(jù)存儲(chǔ)以文本文件的形式存儲(chǔ)到硬盤(pán)上這種方法， 其在技術(shù)上存在一個(gè)缺點(diǎn)：當(dāng)數(shù)據(jù)庫(kù)中有一張數(shù)據(jù)表A該表每天都海量的新數(shù)據(jù)寫(xiě)入，并 且數(shù)量級(jí)不等。如果要將增量的數(shù)據(jù)同時(shí)寫(xiě)入到同一個(gè)文本文件對(duì)象中，那么這個(gè)文本文 件對(duì)象的所占用的存儲(chǔ)空間就會(huì)變得很龐大，對(duì)文件的存儲(chǔ)效率和文件傳輸效率都存在一 個(gè)制約性，對(duì)數(shù)據(jù)抽取的效率產(chǎn)生了瓶頸。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種在海量新數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)的情 況下，能夠提升海量數(shù)據(jù)抽取并存儲(chǔ)為XML格式文件的效率的基于歷史分析的無(wú)人智能驅(qū) 動(dòng)的數(shù)據(jù)文件生成方法。
[0005] 本發(fā)明的技術(shù)方案如下：
[0006] -種基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，步驟如下：
[0007] 1)使用同構(gòu)數(shù)據(jù)生成模擬器生成模擬數(shù)據(jù)；
[0008] 2 )使用XML文件生成器抽取模擬數(shù)據(jù)，生成XML文件；
[0009] 3)在知識(shí)分析數(shù)據(jù)庫(kù)中記錄抽取模擬數(shù)據(jù)、生成每個(gè)XML文件的生成效率參數(shù)；
[0010] 4)將各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件執(zhí)行時(shí)間最短的生成效率參數(shù)作為執(zhí)行標(biāo)準(zhǔn)， 基于執(zhí)行標(biāo)準(zhǔn)進(jìn)行實(shí)際環(huán)境數(shù)據(jù)抽取并生成XML文件。
[0011] 作為優(yōu)選，步驟4)進(jìn)一步地，將實(shí)際環(huán)境數(shù)據(jù)抽取、生成XML文件的生成效率參數(shù) 進(jìn)行存儲(chǔ)積累，等待下一次判斷各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件執(zhí)行時(shí)間最短的生成效率參 數(shù)，確定新的執(zhí)行標(biāo)準(zhǔn)。
[0012] 作為優(yōu)選，步驟1)的步驟如下：
[0013] 1. 1)新增數(shù)據(jù)源：在模擬數(shù)據(jù)庫(kù)中模擬業(yè)務(wù)數(shù)據(jù)庫(kù)生成數(shù)據(jù)源；
[0014] 1. 2)新增同構(gòu)數(shù)據(jù)表：在步驟1. 1)中新增的數(shù)據(jù)源下選擇要同構(gòu)的數(shù)據(jù)表，并進(jìn) 行同構(gòu)操作，同構(gòu)數(shù)據(jù)表下為新增的數(shù)據(jù)項(xiàng)信息；
[0015] 1. 3)生成模擬數(shù)據(jù)：選擇同構(gòu)數(shù)據(jù)表下要生成的數(shù)據(jù)記錄數(shù)，生成模擬數(shù)據(jù)操作。
[0016] 作為優(yōu)選，步驟2)的步驟如下：
[0017] 2. 1)連接同構(gòu)數(shù)據(jù)生成模擬器新增的數(shù)據(jù)源；
[0018] 2. 2)選擇需要生成的數(shù)據(jù)源、數(shù)據(jù)表，輸入抽取的數(shù)據(jù)總條數(shù)、數(shù)據(jù)文件分頁(yè)數(shù)， 生成XML文件。
[0019] 作為優(yōu)選，數(shù)據(jù)總條數(shù)和/或數(shù)據(jù)分頁(yè)數(shù)配置成為循環(huán)遞增模式，其中，數(shù)據(jù)分頁(yè) 數(shù)的遞增循環(huán)包含在數(shù)據(jù)總條數(shù)的遞增循環(huán)內(nèi)。
[0020] 作為優(yōu)選，步驟3)所述的生成效率參數(shù)包括：
[0021] 生成時(shí)耗，即從模擬數(shù)據(jù)庫(kù)中抽取的模擬數(shù)據(jù)開(kāi)始到XML文件生成消耗的時(shí)間；
[0022] 生成總開(kāi)始時(shí)間，即當(dāng)前次當(dāng)前數(shù)據(jù)表抽取數(shù)據(jù)開(kāi)始時(shí)間；
[0023] 生成總結(jié)束時(shí)間，即當(dāng)前次當(dāng)前數(shù)據(jù)表抽取數(shù)據(jù)結(jié)束時(shí)間；
[0024] XML 文件名；
[0025] 抽取開(kāi)始時(shí)間，即數(shù)據(jù)從數(shù)據(jù)庫(kù)檢索出來(lái)的開(kāi)始時(shí)間；
[0026] 抽取結(jié)束時(shí)間，即數(shù)據(jù)從數(shù)據(jù)庫(kù)檢索出來(lái)的結(jié)束時(shí)間；
[0027] 生成開(kāi)始時(shí)間，即生成XML文件的開(kāi)始時(shí)間；
[0028] 生成結(jié)束時(shí)間，即生成XML文件的結(jié)束時(shí)時(shí)間；
[0029] 文件記錄數(shù)，即當(dāng)前XML文件所包含的數(shù)據(jù)；
[0030] 文件大小，即當(dāng)前XML文件生成后所占的磁盤(pán)空間的大小。
[0031] 作為優(yōu)選，步驟4)中各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件是通過(guò)循環(huán)配置或自動(dòng)循環(huán)抽 取配置完成數(shù)據(jù)抽取，循環(huán)步驟1)至步驟3)的數(shù)據(jù)抽取生成XML文件。
[0032] 作為優(yōu)選，抽取的數(shù)據(jù)表具有Μ個(gè)數(shù)量級(jí)的N (N< M)個(gè)分頁(yè)信息、抽取時(shí)耗、文 件存儲(chǔ)空間大小。
[0033] 作為優(yōu)選，模擬數(shù)據(jù)庫(kù)中設(shè)計(jì)有：
[0034] "模擬數(shù)據(jù)表參數(shù)配置"信息主表，內(nèi)容如下：
[0035]

【權(quán)利要求】
1. 一種基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其特征在于，步驟如下： 1) 使用同構(gòu)數(shù)據(jù)生成模擬器生成模擬數(shù)據(jù)； 2) 使用XML文件生成器抽取模擬數(shù)據(jù)，生成XML文件； 3) 在知識(shí)分析數(shù)據(jù)庫(kù)中記錄抽取模擬數(shù)據(jù)、生成每個(gè)XML文件的生成效率參數(shù)； 4) 將各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件執(zhí)行時(shí)間最短的生成效率參數(shù)作為執(zhí)行標(biāo)準(zhǔn)，基于 執(zhí)行標(biāo)準(zhǔn)進(jìn)行實(shí)際環(huán)境數(shù)據(jù)抽取并生成XML文件。
2. 根據(jù)權(quán)利要求1所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其特征 在于，步驟4)進(jìn)一步地，將實(shí)際環(huán)境數(shù)據(jù)抽取、生成XML文件的生成效率參數(shù)進(jìn)行存儲(chǔ)積 累，等待下一次判斷各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件執(zhí)行時(shí)間最短的生成效率參數(shù)，確定新 的執(zhí)行標(biāo)準(zhǔn)。
3. 根據(jù)權(quán)利要求1或2所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其 特征在于，步驟1)的步驟如下： 1. 1)新增數(shù)據(jù)源：在模擬數(shù)據(jù)庫(kù)中模擬業(yè)務(wù)數(shù)據(jù)庫(kù)生成數(shù)據(jù)源； 1. 2)新增同構(gòu)數(shù)據(jù)表：在步驟1. 1)中新增的數(shù)據(jù)源下選擇要同構(gòu)的數(shù)據(jù)表，并進(jìn)行同 構(gòu)操作，同構(gòu)數(shù)據(jù)表下為新增的數(shù)據(jù)項(xiàng)信息； 1. 3)生成模擬數(shù)據(jù)：選擇同構(gòu)數(shù)據(jù)表下要生成的數(shù)據(jù)記錄數(shù)，生成模擬數(shù)據(jù)操作。
4. 根據(jù)權(quán)利要求1或2所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其 特征在于，步驟2)的步驟如下： 2. 1)連接同構(gòu)數(shù)據(jù)生成模擬器新增的數(shù)據(jù)源； 2. 2)選擇需要生成的數(shù)據(jù)源、數(shù)據(jù)表，輸入抽取的數(shù)據(jù)總條數(shù)、數(shù)據(jù)文件分頁(yè)數(shù)，生成 XML文件。
5. 根據(jù)權(quán)利要求4所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其特征 在于，數(shù)據(jù)總條數(shù)和/或數(shù)據(jù)分頁(yè)數(shù)配置成為循環(huán)遞增模式，其中，數(shù)據(jù)分頁(yè)數(shù)的遞增循環(huán) 包含在數(shù)據(jù)總條數(shù)的遞增循環(huán)內(nèi)。
6. 根據(jù)權(quán)利要求1或2所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其 特征在于，步驟3)所述的生成效率參數(shù)包括： 生成時(shí)耗,即從模擬數(shù)據(jù)庫(kù)中抽取的模擬數(shù)據(jù)開(kāi)始到XML文件生成消耗的時(shí)間； 生成總開(kāi)始時(shí)間，即當(dāng)前次當(dāng)前數(shù)據(jù)表抽取數(shù)據(jù)開(kāi)始時(shí)間； 生成總結(jié)束時(shí)間，即當(dāng)前次當(dāng)前數(shù)據(jù)表抽取數(shù)據(jù)結(jié)束時(shí)間； XML文件名； 抽取開(kāi)始時(shí)間，即數(shù)據(jù)從數(shù)據(jù)庫(kù)檢索出來(lái)的開(kāi)始時(shí)間； 抽取結(jié)束時(shí)間，即數(shù)據(jù)從數(shù)據(jù)庫(kù)檢索出來(lái)的結(jié)束時(shí)間； 生成開(kāi)始時(shí)間，即生成XML文件的開(kāi)始時(shí)間； 生成結(jié)束時(shí)間，即生成XML文件的結(jié)束時(shí)時(shí)間； 文件記錄數(shù)，即當(dāng)前XML文件所包含的數(shù)據(jù)； 文件大小，即當(dāng)前XML文件生成后所占的磁盤(pán)空間的大小。
7. 根據(jù)權(quán)利要求1或2所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其 特征在于，步驟4)中各個(gè)數(shù)量級(jí)數(shù)據(jù)生成XML文件是通過(guò)循環(huán)配置或自動(dòng)循環(huán)抽取配置完 成數(shù)據(jù)抽取，循環(huán)步驟1)至步驟3)的數(shù)據(jù)抽取生成XML文件。
8. 根據(jù)權(quán)利要求7所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其特征 在于，抽取的數(shù)據(jù)表具有Μ個(gè)數(shù)量級(jí)的N (N < M)個(gè)分頁(yè)信息、抽取時(shí)耗、文件存儲(chǔ)空間大 小。
9. 根據(jù)權(quán)利要求1或2所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其 特征在于，模擬數(shù)據(jù)庫(kù)中設(shè)計(jì)有： "模擬數(shù)據(jù)表參數(shù)配置"信息主表，內(nèi)容如下：
"模擬數(shù)據(jù)表參數(shù)配置"信息從表，內(nèi)容如下：
〇
10. 根據(jù)權(quán)利要求1或2所述的基于歷史分析的無(wú)人智能驅(qū)動(dòng)的數(shù)據(jù)文件生成方法，其 特征在于，知識(shí)分析數(shù)據(jù)庫(kù)中設(shè)計(jì)有： 文件生成歷史記錄主表，內(nèi)容如下：
文件生成記錄歷史子表，內(nèi)容如下：
數(shù)據(jù)記錄數(shù)等級(jí)維度表，內(nèi)容如下：

知識(shí)庫(kù)信息表，內(nèi)容如下：
〇
【文檔編號(hào)】G06F17/30GK104123306SQ201310155029
【公開(kāi)日】2014年10月29日 申請(qǐng)日期:2013年4月27日 優(yōu)先權(quán)日:2013年4月27日
【發(fā)明者】黃文淮, 鄧慧挺, 余建成 申請(qǐng)人:廈門(mén)雅迅網(wǎng)絡(luò)股份有限公司