本發(fā)明涉及數(shù)據(jù)最小時(shí)效性
技術(shù)領(lǐng)域：
，更具體地說(shuō)，涉及一種評(píng)估數(shù)據(jù)信息的方法和裝置，以得到數(shù)據(jù)的最小時(shí)效性、字段使用信息等相關(guān)參數(shù)。
背景技術(shù)：
：在目前的數(shù)據(jù)最小時(shí)效性
技術(shù)領(lǐng)域：
中，現(xiàn)有評(píng)估數(shù)據(jù)信息的方法是，以人為的業(yè)務(wù)經(jīng)驗(yàn)或高層領(lǐng)導(dǎo)決策針對(duì)數(shù)據(jù)中心中各類(lèi)數(shù)據(jù)庫(kù)或平臺(tái)(DB2、Oracle、MPP、TERADATA、HADOOP等)的數(shù)據(jù)建立一套參數(shù)配置體系，參數(shù)配置例如包括數(shù)據(jù)的清理日期、存儲(chǔ)周期等，進(jìn)而通過(guò)定期提醒告知數(shù)據(jù)中心的運(yùn)維人員依據(jù)參數(shù)配置對(duì)數(shù)據(jù)進(jìn)行管理。數(shù)據(jù)中心存儲(chǔ)有大量的數(shù)據(jù)，每個(gè)數(shù)據(jù)均以表的形式進(jìn)行存儲(chǔ)。那么針對(duì)每個(gè)數(shù)據(jù)具體應(yīng)該存儲(chǔ)多久，數(shù)據(jù)冗余如何優(yōu)化都是通過(guò)人為主觀經(jīng)驗(yàn)或決策進(jìn)行定義的。而顯然這種人為定義的方式并不能科學(xué)地評(píng)估出數(shù)據(jù)最合理的存儲(chǔ)周期、數(shù)據(jù)中的冗余字段等信息。技術(shù)實(shí)現(xiàn)要素：有鑒于此，本發(fā)明提供一種評(píng)估數(shù)據(jù)信息的方法和裝置，以解決現(xiàn)有評(píng)估數(shù)據(jù)信息的方法不能科學(xué)地評(píng)估出數(shù)據(jù)最合理的存儲(chǔ)周期、數(shù)據(jù)中的冗余字段等信息的問(wèn)題。技術(shù)方案如下：基于本發(fā)明的一方面，本發(fā)明提供一種評(píng)估數(shù)據(jù)信息的方法，包括多個(gè)模板表，每個(gè)模板表對(duì)應(yīng)一種類(lèi)別屬性的類(lèi)表，每種類(lèi)表包括多個(gè)不同信息的邏輯表；所述方法包括：采集數(shù)據(jù)的日志；解析所述日志，得到所述數(shù)據(jù)的關(guān)鍵字；依據(jù)所述數(shù)據(jù)的關(guān)鍵字，查找出與所述數(shù)據(jù)的類(lèi)別屬性相同的模板表，并從所述模板表對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表；依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估。優(yōu)選地，所述日志包括：任務(wù)運(yùn)行日志和數(shù)據(jù)庫(kù)實(shí)時(shí)訪問(wèn)日志。優(yōu)選地，所述解析所述日志包括：采用結(jié)構(gòu)查詢(xún)語(yǔ)言SQL解析引擎解析所述日志。優(yōu)選地，不同類(lèi)別屬性的類(lèi)表至少包括以下一種：日表、月表、年表。優(yōu)選地，所述依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估包括：依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用情況評(píng)估所述數(shù)據(jù)的使用周期；依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)字段的使用情況評(píng)估所述數(shù)據(jù)的引用字段和非引用字段?；诒景l(fā)明的另一方面，本發(fā)明提供一種評(píng)估數(shù)據(jù)信息的裝置，包括多個(gè)模板表，每個(gè)模板表對(duì)應(yīng)一種類(lèi)別屬性的類(lèi)表，每種類(lèi)表包括多個(gè)不同信息的邏輯表；所述裝置包括：采集單元，用于采集數(shù)據(jù)的日志；解析單元，用于解析所述日志，得到所述數(shù)據(jù)的關(guān)鍵字；查找單元，用于依據(jù)所述數(shù)據(jù)的關(guān)鍵字，查找出與所述數(shù)據(jù)的類(lèi)別屬性相同的模板表，并從所述模板表對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表；評(píng)估單元，用于依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估。優(yōu)選地，所述日志包括：任務(wù)運(yùn)行日志和數(shù)據(jù)庫(kù)實(shí)時(shí)訪問(wèn)日志。優(yōu)選地，所述解析單元具體用于，采用結(jié)構(gòu)查詢(xún)語(yǔ)言SQL解析引擎解析所述日志。優(yōu)選地，不同類(lèi)別屬性的類(lèi)表至少包括以下一種：日表、月表、年表。優(yōu)選地，所述評(píng)估單元包括：第一評(píng)估子單元，用于依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用情況評(píng)估所述數(shù)據(jù)的使用周期；第二評(píng)估子單元，用于依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)字段的使用情況評(píng)估所述數(shù)據(jù)的引用字段和非引用字段。本發(fā)明提供的評(píng)估數(shù)據(jù)信息的方法，包括多個(gè)模板表，且每個(gè)模板表對(duì)應(yīng)一種類(lèi)別屬性的類(lèi)表，每種類(lèi)別屬性的類(lèi)表又包括多個(gè)不同信息的邏輯表。本發(fā)明在對(duì)數(shù)據(jù)進(jìn)行評(píng)估時(shí)，首先采集并解析數(shù)據(jù)的日志，并依據(jù)解析得到的數(shù)據(jù)的關(guān)鍵字查找出與所述數(shù)據(jù)的類(lèi)別屬性相同的模板表，并從所述模板表對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表，進(jìn)而依據(jù)該多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估。本發(fā)明從數(shù)據(jù)應(yīng)用過(guò)程中產(chǎn)生的日志入手，分析與其信息相同的多個(gè)邏輯表中各數(shù)據(jù)的使用情況，從而對(duì)當(dāng)前采集到的數(shù)據(jù)的信息，例如數(shù)據(jù)的存儲(chǔ)周期(即最小時(shí)效性)、數(shù)據(jù)中的冗余字段進(jìn)行評(píng)估，能夠科學(xué)地評(píng)估出數(shù)據(jù)最合理的存儲(chǔ)周期、數(shù)據(jù)中的冗余字段等信息。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。圖1為本發(fā)明提供的一種評(píng)估數(shù)據(jù)信息的方法的流程圖；圖2為本發(fā)明中各節(jié)點(diǎn)間的邏輯關(guān)系示意圖；圖3為本發(fā)明提供的一種評(píng)估數(shù)據(jù)信息的裝置的結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。請(qǐng)參閱圖1，其示出了本發(fā)明提供的一種評(píng)估數(shù)據(jù)信息的方法的流程圖。在本發(fā)明實(shí)施例中，數(shù)據(jù)中心存儲(chǔ)有多個(gè)模板表，其每一個(gè)模板表對(duì)應(yīng)一種類(lèi)別屬性的類(lèi)表，具體如下表1所示，本發(fā)明中不同類(lèi)別屬性的類(lèi)表至少包括以下一種：日表、月表、年表、月累計(jì)表、其他表等。其中，每種類(lèi)別屬性的類(lèi)表包括多個(gè)不同信息的邏輯表。以日表為例來(lái)說(shuō)，模板表1對(duì)應(yīng)日表，該日表下又包括多個(gè)日通話清單表，如日通話清單表20160901、日通話清單表20160902、日通話清單表20160903等，以及多個(gè)日流量清單表，如日流量清單表20160901、日流量清單表20160902、日流量清單表20160903等。表1關(guān)于本申請(qǐng)中類(lèi)表與模板表間映射關(guān)系的設(shè)置可以采用如下方法，如對(duì)于日表ODS_USER_20150102，本申請(qǐng)將其可變的日期信息部分20150102替換為YYYYMMDD字段，由此可以將前綴+YYYYMMDD的日表與“前綴+YYYYMMDD”的模板表建立映射關(guān)系，并同時(shí)實(shí)現(xiàn)了數(shù)據(jù)分類(lèi)。作為本發(fā)明優(yōu)選的，本發(fā)明可以將每個(gè)模板表與每種類(lèi)別屬性的類(lèi)表間的對(duì)應(yīng)關(guān)系也以表的形式存儲(chǔ)。具體的，本發(fā)明提供的評(píng)估數(shù)據(jù)信息的方法包括：步驟101，采集數(shù)據(jù)的日志。本發(fā)明中數(shù)據(jù)中心中的數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)和hadoop平臺(tái)中。日志包括任務(wù)運(yùn)行日志和數(shù)據(jù)庫(kù)實(shí)時(shí)訪問(wèn)日志。其中任務(wù)運(yùn)行日志主要是數(shù)據(jù)中心中的程序在運(yùn)行過(guò)程中記錄的日志；數(shù)據(jù)庫(kù)實(shí)時(shí)訪問(wèn)日志是程序連接數(shù)據(jù)庫(kù)進(jìn)行計(jì)算時(shí)生成的數(shù)據(jù)庫(kù)實(shí)時(shí)SQL訪問(wèn)記錄，即數(shù)據(jù)庫(kù)SQL日志。步驟102，解析所述日志，得到所述數(shù)據(jù)的關(guān)鍵字。本發(fā)明中采用SQL(StructureQueryLanguage，結(jié)構(gòu)查詢(xún)語(yǔ)言)解析引擎解析所述日志。其中，關(guān)鍵字可以包括delete、insert、update、select、from、where、orderby、groupby等。本發(fā)明實(shí)施例主要關(guān)注insert和select語(yǔ)句。本發(fā)明中，SQL語(yǔ)句可以被切分成了多個(gè)根節(jié)點(diǎn)，如圖2所示，包括select、from、where、ColumnList。各根節(jié)點(diǎn)下又連接至少一個(gè)子節(jié)點(diǎn)，因此各根節(jié)點(diǎn)和與其連接的至少一個(gè)子節(jié)點(diǎn)之間形成邏輯上的依賴(lài)關(guān)系。根據(jù)圖2所示的各節(jié)點(diǎn)間的邏輯關(guān)系，將其整理得到表2。邏輯表名字段引用引用條件ODS_USER_20150102USER_ID、AREA、AGEUSER_IDODS_USER_20150103USER_IDUSER_ID表2步驟103，依據(jù)所述數(shù)據(jù)的關(guān)鍵字，查找出與所述數(shù)據(jù)的類(lèi)別屬性相同的模板表，并從所述模板表對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表。以日表ODS_USER_20150102為例來(lái)說(shuō)，其關(guān)鍵字中包括20150102，即其描述形式為YYYYMMDD，由此將該YYYYMMDD與各模板表中記載的描述形式進(jìn)行一一匹配。當(dāng)模板表1中記載有+YYYYMMDD的描述形式，便可確定日表ODS_USER_20150102與模板表1匹配，確定出模板表1。進(jìn)而在從模板表1對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表。其中，所述數(shù)據(jù)的信息可以包括邏輯表的表頭名稱(chēng)，例如ODS_USER等。步驟104，依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估。具體的，本發(fā)明可以依據(jù)多個(gè)邏輯表中各數(shù)據(jù)的使用情況評(píng)估所述數(shù)據(jù)的使用周期；依據(jù)多個(gè)邏輯表中各數(shù)據(jù)字段的使用情況評(píng)估所述數(shù)據(jù)的引用字段和非引用字段。參考下表3所示，表3即本發(fā)明對(duì)于ODS_USER_YYYYMMDD的邏輯表，建議存儲(chǔ)2個(gè)周期，即數(shù)據(jù)的使用周期為2周，數(shù)據(jù)的引用字段包括USER_ID、AREA、AGE、非引用字段包括name、remakr、bak。因此應(yīng)用本發(fā)明提供的評(píng)估數(shù)據(jù)信息的方法，包括多個(gè)模板表，且每個(gè)模板表對(duì)應(yīng)一種類(lèi)別屬性的類(lèi)表，每種類(lèi)別屬性的類(lèi)表又包括多個(gè)不同信息的邏輯表。本發(fā)明在對(duì)數(shù)據(jù)進(jìn)行評(píng)估時(shí)，首先采集并解析數(shù)據(jù)的日志，并依據(jù)解析得到的數(shù)據(jù)的關(guān)鍵字查找出與所述數(shù)據(jù)的類(lèi)別屬性相同的模板表，并從所述模板表對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表，進(jìn)而依據(jù)該多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估。本發(fā)明從數(shù)據(jù)應(yīng)用過(guò)程中產(chǎn)生的日志入手，分析與其信息相同的多個(gè)邏輯表中各數(shù)據(jù)的使用情況，從而對(duì)當(dāng)前采集到的數(shù)據(jù)的信息，例如數(shù)據(jù)的存儲(chǔ)周期(即最小時(shí)效性)、數(shù)據(jù)中的冗余字段進(jìn)行評(píng)估，能夠科學(xué)地評(píng)估出數(shù)據(jù)最合理的存儲(chǔ)周期、數(shù)據(jù)中的冗余字段等信息?；谇拔谋景l(fā)明提供的一種評(píng)估數(shù)據(jù)信息的方法，本發(fā)明還提供一種評(píng)估數(shù)據(jù)信息的裝置，該裝置包括多個(gè)模板表，每個(gè)模板表對(duì)應(yīng)一種類(lèi)別屬性的類(lèi)表，每種類(lèi)表包括多個(gè)不同信息的邏輯表；其中，不同類(lèi)別屬性的類(lèi)表至少包括以下一種：日表、月表、年表。具體的，所述裝置的結(jié)構(gòu)如圖3所示，包括：采集單元100，用于采集數(shù)據(jù)的日志；其中，所述日志可以包括：任務(wù)運(yùn)行日志和數(shù)據(jù)庫(kù)實(shí)時(shí)訪問(wèn)日志；解析單元200，用于解析所述日志，得到所述數(shù)據(jù)的關(guān)鍵字；其中，解析單元200可以具體用于，采用SQL解析引擎解析所述日志；查找單元300，用于依據(jù)所述數(shù)據(jù)的關(guān)鍵字，查找出與所述數(shù)據(jù)的類(lèi)別屬性相同的模板表，并從所述模板表對(duì)應(yīng)的類(lèi)表中，查找出與所述數(shù)據(jù)的信息相同的多個(gè)邏輯表；評(píng)估單元400，用于依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用信息，對(duì)所述數(shù)據(jù)的信息進(jìn)行評(píng)估。其中所述評(píng)估單元400包括：第一評(píng)估子單元401，用于依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)的使用情況評(píng)估所述數(shù)據(jù)的使用周期；第二評(píng)估子單元402，用于依據(jù)所述多個(gè)邏輯表中各數(shù)據(jù)字段的使用情況評(píng)估所述數(shù)據(jù)的引用字段和非引用字段。需要說(shuō)明的是，本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于裝置類(lèi)實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類(lèi)的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。以上對(duì)本申請(qǐng)所提供的一種評(píng)估數(shù)據(jù)信息的方法和裝置進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。當(dāng)前第1頁(yè)1 2 3