一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器的制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器，屬于計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域。其中數(shù)據(jù)質(zhì)量追溯的方法包括：獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題所在。本發(fā)明實(shí)施例中，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，就會(huì)在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個(gè)過(guò)程通過(guò)血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問(wèn)題所在，定位問(wèn)題效率高、速度快。
【專利說(shuō)明】
一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器。
【背景技術(shù)】
[0002]當(dāng)前，IT系統(tǒng)大而集中，且隨著業(yè)務(wù)的不斷發(fā)展壯大，需要管理和運(yùn)維的數(shù)據(jù)也是越來(lái)越多、同時(shí)各種各樣的數(shù)據(jù)模型也是越來(lái)越復(fù)雜。目前，面對(duì)越來(lái)越龐大的數(shù)據(jù)，數(shù)據(jù)的有效管理和數(shù)據(jù)的質(zhì)量是數(shù)據(jù)相關(guān)工程中最常見(jiàn)也是最難處理的問(wèn)題。
[0003]現(xiàn)有的數(shù)據(jù)質(zhì)量管理中很難給出高效的方式追溯數(shù)據(jù)質(zhì)量的問(wèn)題。目前常見(jiàn)處理方式是憑借個(gè)人經(jīng)驗(yàn)判斷有可能出現(xiàn)問(wèn)題的點(diǎn)，然后根據(jù)其數(shù)據(jù)處理過(guò)程逐個(gè)查看，同時(shí)分析每個(gè)過(guò)程中數(shù)據(jù)處理的邏輯，從而判斷是否有數(shù)據(jù)質(zhì)量的問(wèn)題。
[0004]但是，由于現(xiàn)有技術(shù)的上述整個(gè)過(guò)程都是人工處理，工作效率和問(wèn)題解決的成功率較低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種數(shù)據(jù)質(zhì)量問(wèn)題追溯的方法及其裝置以及硬件處理器，可以解決現(xiàn)有技術(shù)中出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題時(shí)的處理方法效率低的技術(shù)問(wèn)題。
[0006]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)質(zhì)量問(wèn)題追溯的方法及其裝置以及硬件處理器，其中:
[0007]—種數(shù)據(jù)質(zhì)量追溯的方法，其包括:
[0008]獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0009]根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0010]根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題所在。
[0011 ]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析包括:
[0012]確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系O
[0013]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖包括:
[0014]根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖作為血緣分析圖。
[0015]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖包括:
[0016]根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點(diǎn)；
[0017]根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。
[0018]優(yōu)選地，在本發(fā)明一實(shí)施例中，根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題所在包括:
[0019]根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元；
[0020]和/或
[0021]根據(jù)所述血緣分析圖，確定對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元；
[0022]和/或
[0023]根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題影響的其他數(shù)據(jù)單元。
[0024]一種數(shù)據(jù)質(zhì)量追溯的裝置，其包括:
[0025]分析模塊，用于獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0026]血緣分析圖生成模塊，用于根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0027]問(wèn)題確定模塊，用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的問(wèn)題所在。
[0028]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述分析模塊進(jìn)一步用于確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。
[0029]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述血緣分析圖生成模塊進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，生成血緣分析圖。
[0030]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述血緣分析圖生成模塊進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖做為所述血緣分析圖。
[0031 ]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述血緣分析圖生成模塊包括:
[0032]節(jié)點(diǎn)確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點(diǎn)；
[0033]有向邊確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。
[0034]優(yōu)選地，在本發(fā)明一實(shí)施例中，所述問(wèn)題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元；
[0035]和/或
[0036]所述問(wèn)題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元；
[0037]和/或
[0038]所述問(wèn)題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題影響的其他數(shù)據(jù)單
J L ο
[0039]一種與數(shù)據(jù)質(zhì)量追溯裝置結(jié)合使用的硬件處理器，所述硬件處理器包括執(zhí)行以下步驟的指令:
[0040]獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0041 ]根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0042]根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。
[0043]本發(fā)明實(shí)施例中，由于可以自動(dòng)獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對(duì)數(shù)據(jù)處理任務(wù)進(jìn)行解析，根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖，進(jìn)而根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。即根據(jù)本實(shí)施例所公開(kāi)的技術(shù)方案，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，就會(huì)在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個(gè)過(guò)程通過(guò)血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問(wèn)題所在，無(wú)須人工參與，擺脫了人工的主觀因素影響，所以定位問(wèn)題效率高、速度快。
【附圖說(shuō)明】
[0044]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0045]圖1為本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實(shí)施例的流程圖；
[0046]圖2為本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實(shí)施例所揭示的血緣分析圖的結(jié)構(gòu)示意圖；
[0047]圖3為本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的裝置實(shí)施例的結(jié)構(gòu)示意圖；
[0048]圖4為本發(fā)明實(shí)施例血緣分析圖生成模塊結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0049]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0050]請(qǐng)參考圖1，本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實(shí)施例的流程圖。本發(fā)明實(shí)施例提供的一種數(shù)據(jù)質(zhì)量追溯的方法，包括:
[0051 ]步驟11，獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0052]步驟12，根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0053]步驟13，根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。
[0054]本實(shí)施例中，血緣分析圖上可以反映出數(shù)據(jù)處理任務(wù)涉及的各對(duì)象以及對(duì)象間的關(guān)系，比如對(duì)于運(yùn)維管理來(lái)說(shuō)，作為對(duì)象的數(shù)據(jù)單元以及數(shù)組單元之間信號(hào)的流向關(guān)系。
[0055]優(yōu)選地，所述獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析包括:
[0056]確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，及所述所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。
[0057]其中，所述數(shù)據(jù)單元在不同的存儲(chǔ)媒介中的體現(xiàn)是不一樣的，一般數(shù)據(jù)處理任務(wù)的輸出目標(biāo)可以作為一個(gè)數(shù)據(jù)單元，所述數(shù)據(jù)單元可以作為數(shù)據(jù)的源，也可以作為數(shù)據(jù)處理的數(shù)據(jù)目標(biāo)。
[0058]本實(shí)施例中，為了減少數(shù)據(jù)處理的任務(wù)量，提高準(zhǔn)確性，進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的快速定位，在步驟11之前還可以按照設(shè)定的規(guī)則進(jìn)行全部或者部分清洗和轉(zhuǎn)換，清洗和轉(zhuǎn)換的對(duì)象包括:數(shù)據(jù)單元及數(shù)據(jù)處理任務(wù)。清洗的規(guī)則可以是:篩選出需要的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)、篩選掉不需要的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)，比如有三個(gè)運(yùn)維管理的對(duì)象系統(tǒng)A、B、C，但是，只有對(duì)象系統(tǒng)A是上述實(shí)施例實(shí)際的處理對(duì)象，因此，需要把系統(tǒng)B和C的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)清除掉。轉(zhuǎn)換則是根據(jù)設(shè)定的規(guī)則將數(shù)據(jù)單元、數(shù)據(jù)處理任務(wù)進(jìn)行轉(zhuǎn)換，相當(dāng)于標(biāo)準(zhǔn)化處理，比如在不同的系統(tǒng)，同一對(duì)象用不同的描述進(jìn)行定義，比如“性另IJ”，在A系統(tǒng)中可能有“男” “女”定義，而在B系統(tǒng)中有“female” “male”定義，因此，轉(zhuǎn)換即為將所有“性別”統(tǒng)一定義為“男” “女”或者“female” “male”。
[0059]下面舉例進(jìn)行說(shuō)明:
[0060]舉例1:在關(guān)系型數(shù)據(jù)庫(kù)中，所述關(guān)系型數(shù)據(jù)表中的每一個(gè)單元格均可以作為一個(gè)數(shù)據(jù)單元。
[0061]舉例2:在前端展現(xiàn)中，報(bào)表也可以作為一個(gè)數(shù)據(jù)單元。
[0062]所述數(shù)據(jù)處理任務(wù)可以是一個(gè)數(shù)據(jù)加工的過(guò)程。所述數(shù)據(jù)加工的過(guò)程可以是從源加載數(shù)據(jù)，然后進(jìn)行加工，最后將加工的結(jié)果輸出到目標(biāo)。每一個(gè)數(shù)據(jù)單元可對(duì)應(yīng)有輸入和輸出，對(duì)數(shù)據(jù)進(jìn)行處理之后的保存可以是一個(gè)輸出，當(dāng)然也可以有其他形式的輸出，輸入和輸出可以是一個(gè)，也可以是多個(gè)。
[0063]優(yōu)選地，由于有向圖可以表現(xiàn)出數(shù)據(jù)間的關(guān)系，因此，可以將有向圖直接作為血緣分析圖的具體實(shí)現(xiàn)形式。因此，上述實(shí)施例中，步驟13中所述根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖可以包括:
[0064]根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖作為血緣分析圖。
[0065]優(yōu)選地，在構(gòu)建有向圖時(shí)，即所述根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖可以包括:
[0066]步驟131、根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點(diǎn)；
[0067]具體地，可以直接將數(shù)據(jù)單元作為有向圖中的節(jié)點(diǎn)。
[0068]步驟132、根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。
[0069]具體地，可以將數(shù)據(jù)流向作為有向圖的邊即有像邊。
[0070]優(yōu)選地，根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題所在包括下述情況中的任種或多種的組合:
[0071](I)根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元；
[0072](2)根據(jù)所述血緣分析圖，確定導(dǎo)致所述數(shù)據(jù)單元出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)處理任務(wù)。
[0073](3)根據(jù)所述血緣分析圖，確定對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元；
[0074](4)根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題影響的其他數(shù)據(jù)單元。
[0075]本實(shí)施例中，由于可以自動(dòng)獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對(duì)數(shù)據(jù)處理任務(wù)進(jìn)行解析，根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖，進(jìn)而根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。即根據(jù)本實(shí)施例所公開(kāi)的技術(shù)方案，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，就會(huì)在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個(gè)過(guò)程通過(guò)血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問(wèn)題所在，無(wú)須人工參與，擺脫了人工的主觀因素影響，所以定位問(wèn)題效率高、速度快。
[0076]如圖2所示，本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實(shí)施例所揭示的血緣分析圖的結(jié)構(gòu)示意圖。血緣分析圖的生成過(guò)程，請(qǐng)參考圖2，以5個(gè)數(shù)據(jù)單元參與血緣分析圖生成為例。本實(shí)施例中，根據(jù)所述數(shù)據(jù)處理任務(wù)的邏輯以及所述數(shù)據(jù)處理任務(wù)的輸入源和輸出目標(biāo)確定出所有數(shù)據(jù)單元的數(shù)據(jù)流向。
[0077]本實(shí)施例中，所有分析出來(lái)的結(jié)果可以形成一個(gè)有向圖，其中所述數(shù)據(jù)單元可以作為所述有向圖的節(jié)點(diǎn)，其中，所述節(jié)點(diǎn)包括數(shù)據(jù)單元01至數(shù)據(jù)單元05;所述數(shù)據(jù)處理任務(wù)作為所述有向圖的邊，其中，所述有向圖的邊的兩端分別連接上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)，即上一個(gè)數(shù)據(jù)單元、下一個(gè)數(shù)據(jù)單元，每一個(gè)數(shù)據(jù)處理任務(wù)可以是所述有向圖中多個(gè)節(jié)點(diǎn)的邊，例如邊01’是數(shù)據(jù)單元01的輸出邊，邊02’是數(shù)據(jù)單元02的輸出邊，與此同時(shí)邊01’和邊02’又是數(shù)據(jù)單元03的兩條輸入邊，邊03和邊03’是數(shù)據(jù)單元03的兩條輸出邊，與此同時(shí)邊03和邊03’分別是數(shù)據(jù)單元04和數(shù)據(jù)單元05的輸入邊。
[0078]當(dāng)確定圖2中的數(shù)據(jù)單元03出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題時(shí)，根據(jù)圖2所示的血緣分析圖可知，能夠影響所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元03的數(shù)據(jù)單元包括:所述數(shù)據(jù)單元01和所述數(shù)據(jù)單元02，能夠影響所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元03的數(shù)據(jù)處理任務(wù)包括:邊01’和邊02’；同時(shí)，根據(jù)所述血緣分析圖能夠確定所有被所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元03所影響的數(shù)據(jù)單元包括:數(shù)據(jù)單元04和數(shù)據(jù)單元05，從而能夠確定所有被所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元03所影響的數(shù)據(jù)處理任務(wù)包括:邊03’和邊04’。在確定所有影響所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)和所有被所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元所影響的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)之后，可以逐個(gè)進(jìn)行修復(fù)。
[0079]需要說(shuō)明的是，在初次生成血緣分析圖時(shí)，也可以執(zhí)行上述清洗和轉(zhuǎn)換過(guò)程，以更為精確和快速的確定出出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。
[0080]請(qǐng)參考圖3，本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的裝置實(shí)施例的結(jié)構(gòu)示意圖。本實(shí)施例中，數(shù)據(jù)質(zhì)量追溯的裝置包括分析模塊31、血緣分析圖生成模塊32和問(wèn)題確定模塊33，其中:
[0081]所述分析模塊31用于獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0082]所述血緣分析圖生成模塊32用于根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0083]所述問(wèn)題確定模塊33用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的問(wèn)題所在。
[0084]優(yōu)選地，在實(shí)施例中，所述分析模塊31可以進(jìn)一步用于確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。
[0085]優(yōu)選地，在本實(shí)施例中，所述血緣分析圖生成模塊32可以進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，生成血緣分析圖。
[0086]具體地，本實(shí)施例中，所述血緣分析圖生成模塊32可以進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖做為所述血緣分析圖。
[0087]優(yōu)選地，本實(shí)施例中，所述問(wèn)題確定模塊33進(jìn)一步可以用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元和/或?qū)е滤鰯?shù)據(jù)單元出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)處理任務(wù)。
[0088]進(jìn)一步地，本實(shí)施例中，所述問(wèn)題確定模塊33進(jìn)一步還可以用于根據(jù)所述血緣分析圖，確定對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元;和/或
[0089]所述問(wèn)題確定模塊33進(jìn)一步還可以用于根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題影響的其他數(shù)據(jù)單元。
[0090]本實(shí)施例中，在實(shí)現(xiàn)上述分析模塊31、血緣分析圖生成模塊32和問(wèn)題確定模塊33進(jìn)一步的功能時(shí)，可以由這些模塊本身來(lái)實(shí)現(xiàn)，也可以搭建對(duì)應(yīng)功能的子模塊來(lái)實(shí)現(xiàn)。
[0091 ]本實(shí)施例中，由于可以由分析模塊自動(dòng)獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對(duì)數(shù)據(jù)處理任務(wù)進(jìn)行解析，血緣分析圖生成模塊根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖，比如以數(shù)據(jù)單元為節(jié)點(diǎn)、信號(hào)流向關(guān)系為有向邊形成的有向圖作為血緣分析圖，進(jìn)而由問(wèn)題確定模塊根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。即根據(jù)本實(shí)施例所公開(kāi)的技術(shù)方案，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，就會(huì)在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個(gè)過(guò)程通過(guò)血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問(wèn)題所在，無(wú)須人工參與，擺脫了人工的主觀因素影響，所以定位問(wèn)題效率高、速度快。
[0092]圖4為本發(fā)明實(shí)施例血緣分析圖生成模塊結(jié)構(gòu)示意圖，如圖4所示，當(dāng)有向圖做為所述血緣分析圖時(shí)，所述血緣分析圖生成模塊32可以具體包括:
[0093]節(jié)點(diǎn)確定子模塊321，用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點(diǎn)；
[0094]有向邊確定子模塊322，用于根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。
[0095]需要說(shuō)明的是，在另外一實(shí)施例中，也可以由所述血緣分析圖生成模塊32本身進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點(diǎn)，以及根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。
[0096]本實(shí)施例中，由于可以由分析模塊自動(dòng)獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對(duì)數(shù)據(jù)處理任務(wù)進(jìn)行解析，血緣分析圖生成模塊在根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖時(shí)，以數(shù)據(jù)單元為有向圖的節(jié)點(diǎn)，以信號(hào)流向關(guān)系為有向圖的有向邊從而形成的有向圖作為血緣分析圖，進(jìn)而后續(xù)可由問(wèn)題確定模塊根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在，從而通過(guò)血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問(wèn)題所在，無(wú)須人工參與，擺脫了人工的主觀因素影響，所以定位問(wèn)題效率高、速度快。
[0097]本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的裝置實(shí)施例中，各個(gè)單元的處理過(guò)程以及相互合作的具體實(shí)現(xiàn)過(guò)程可以參考本發(fā)明方法實(shí)施例的相關(guān)描述，這里不再一一描述。
[0098]本發(fā)明實(shí)施例所述的一種數(shù)據(jù)質(zhì)量追溯的方法可以通過(guò)硬件處理器來(lái)實(shí)現(xiàn)相關(guān)功能。所述硬件處理器在執(zhí)行本發(fā)明實(shí)施例提供的一種數(shù)據(jù)質(zhì)量追溯的方法，可以包括如下步驟的指令:
[0099]獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0100]根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0101]根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。
[0102]上述每個(gè)步驟的具體說(shuō)明或者解釋，詳見(jiàn)上述圖1-圖4相關(guān)記載，在此不再贅述。
[0103]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0104]通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤(pán)等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0105]最后應(yīng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種數(shù)據(jù)質(zhì)量追溯的方法，其特征在于，包括: 獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析； 根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖； 根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題所在。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析包括: 確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖包括: 根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖作為血緣分析圖。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖包括: 根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點(diǎn)； 根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題所在包括: 根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元； 和/或 根據(jù)所述血緣分析圖，確定對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元； 和/或 根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題影響的其他數(shù)據(jù)單元。6.一種數(shù)據(jù)質(zhì)量追溯的裝置，其特征在于，包括: 分析模塊，用于獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析 血緣分析圖生成模塊，用于根據(jù)對(duì)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖； 問(wèn)題確定模塊，用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的問(wèn)題所在。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述分析模塊進(jìn)一步用于確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述血緣分析圖生成模塊進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖做為所述血緣分析圖。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述血緣分析圖生成模塊包括: 節(jié)點(diǎn)確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)占.V ， 有向邊確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個(gè)節(jié)點(diǎn)和下一個(gè)節(jié)點(diǎn)。10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述問(wèn)題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元； 和/或 所述問(wèn)題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對(duì)出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元； 和/或 所述問(wèn)題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題影響的其他數(shù)據(jù)單元。11.一種與數(shù)據(jù)質(zhì)量追溯裝置結(jié)合使用的硬件處理器，其特征在于，所述硬件處理器包括執(zhí)行以下步驟的指令: 獲取數(shù)據(jù)處理任務(wù)并對(duì)所述數(shù)據(jù)處理任務(wù)進(jìn)行分析； 根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖； 根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題的所在。
【文檔編號(hào)】G06Q10/06GK105844390SQ201610160404
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2016年3月21日
【發(fā)明人】劉宏斌, 國(guó)鐵龍
【申請(qǐng)人】樂(lè)視網(wǎng)信息技術(shù)（北京）股份有限公司