大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法和裝置，包括：分析多個任務(wù)的數(shù)據(jù)處理邏輯；根據(jù)所述多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)；分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存；當(dāng)所述中間數(shù)據(jù)不需要被保存時，刪除所述中間數(shù)據(jù)。清除了不必要的中間數(shù)據(jù)，從而節(jié)省了數(shù)據(jù)倉庫的存儲空間。
【專利說明】
大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法和裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于計(jì)算機(jī)領(lǐng)域，具體地說，涉及一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法和裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的快速發(fā)展，很多互聯(lián)網(wǎng)公司都已積累了TB量級的數(shù)據(jù)。數(shù)據(jù)倉庫每天都在接收來自不同生態(tài)的數(shù)據(jù)，例如來自手機(jī)、智能電視、視頻網(wǎng)站的用戶數(shù)據(jù)記錄等，做為大數(shù)據(jù)資源的一部分。
[0003]數(shù)據(jù)從數(shù)據(jù)倉庫的入口機(jī)進(jìn)入數(shù)據(jù)倉庫以及在數(shù)據(jù)倉庫內(nèi)部進(jìn)行分層，都需要進(jìn)行數(shù)據(jù)處理，每次數(shù)據(jù)處理過程都是多個任務(wù)的集合，每個任務(wù)都具有內(nèi)在的處理邏輯，例如任務(wù)I是將A表中的部分字段的數(shù)據(jù)讀取再寫入到B表。有時，當(dāng)很多數(shù)據(jù)工程師都需要某些數(shù)據(jù)時，不同的數(shù)據(jù)工程師利用現(xiàn)有數(shù)據(jù)獲取到所需要數(shù)據(jù)方法路徑可能就會不同，此時遺留下一些中間數(shù)據(jù)，久而久之還會出現(xiàn)很多重復(fù)的數(shù)據(jù)，而且其中的很多數(shù)據(jù)在今后都不會再被用到。
[0004]上述問題是由于對任務(wù)的內(nèi)在處理邏輯分析不到位而造成的，導(dǎo)致了很多存儲資源的浪費(fèi)，減少了數(shù)據(jù)倉庫的有效存儲空間。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法和裝置，用以解決現(xiàn)有技術(shù)中由于對任務(wù)的內(nèi)在處理邏輯分析不到位而導(dǎo)致浪費(fèi)存儲資源的技術(shù)問題。
[0006]為了解決上述技術(shù)問題，本發(fā)明公開了一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法，包括:分析多個任務(wù)的數(shù)據(jù)處理邏輯;根據(jù)所述多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù);分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存；當(dāng)所述中間數(shù)據(jù)不需要被保存時，刪除所述中間數(shù)據(jù)。
[0007]為了解決上述技術(shù)問題，本發(fā)明還公開了一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化裝置，包括:第一分析模塊，用于分析多個任務(wù)的數(shù)據(jù)處理邏輯;第一確定模塊，用于根據(jù)所述多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù);第二確定模塊，用于分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存;第一刪除模塊，用于當(dāng)所述中間數(shù)據(jù)不需要被保存時，刪除所述中間數(shù)據(jù)。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法和裝置，會對各個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)進(jìn)行檢測，以判定其是否還會被利用，如果判定其沒有被使用，則會將該中間數(shù)據(jù)刪除，清除了不必要的中間數(shù)據(jù)，從而節(jié)省了數(shù)據(jù)倉庫的存儲空間。
【附圖說明】
[0009]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0010]圖1是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法的流程圖；
[0011]圖2是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法的流程圖；
[0012]圖3是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化裝置的框圖；
[0013]圖4是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化裝置的框圖。
【具體實(shí)施方式】
[0014]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0015]本發(fā)明實(shí)施例中，針對數(shù)據(jù)倉庫中的計(jì)算任務(wù)進(jìn)行分析，分析每個任務(wù)的數(shù)據(jù)處理邏輯，通過數(shù)據(jù)處理邏輯來找到各個任務(wù)之間的邏輯關(guān)系以及數(shù)據(jù)依賴關(guān)系，對各個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)以及任務(wù)的執(zhí)行情況進(jìn)行分析，找到不再被使用的可以進(jìn)行優(yōu)化的數(shù)據(jù)，刪除不再被使用的中間數(shù)據(jù)，節(jié)省了數(shù)據(jù)倉庫的存儲空間，例外對相應(yīng)的任務(wù)進(jìn)行適當(dāng)?shù)暮喜?，從而?jié)省數(shù)據(jù)倉庫的計(jì)算資源并提高任務(wù)的執(zhí)行效率。
[0016]圖1是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法，適用服務(wù)器，該方法包括以下步驟。
[0017]S10，分析多個任務(wù)的數(shù)據(jù)處理邏輯。
[0018]數(shù)據(jù)處理邏輯包括處理對象和計(jì)算方法。處理對象包括源數(shù)據(jù)、目標(biāo)數(shù)據(jù)等，例如任務(wù)TOl是從表A讀取三個字段的數(shù)據(jù)并寫入表B。計(jì)算方法是指利用源數(shù)據(jù)生成目標(biāo)數(shù)據(jù)的方法，如果是直接從表A讀取數(shù)據(jù)并寫入表B則不存在計(jì)算方法，而如果對從表A讀取的數(shù)據(jù)進(jìn)行計(jì)算之后將結(jié)果寫入表B，在該任務(wù)存在表A與表B之間存在計(jì)算方法。
[0019]Sll，根據(jù)多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)。
[0020]從多個任務(wù)的數(shù)據(jù)處理邏輯中，找出多個任務(wù)的之間的邏輯關(guān)系。例如，任務(wù)TOl從表A讀取三個字段的數(shù)據(jù)并寫入表B，任務(wù)T02對表B中的三個字段的數(shù)據(jù)進(jìn)行篩選，篩選出滿足預(yù)設(shè)條件的數(shù)據(jù)并寫入表C，任務(wù)T03讀取表C的數(shù)據(jù)并添加到表D中。可以看出任務(wù)TOl至T03是按照彼此之間的邏輯關(guān)系依次進(jìn)行的。找到多個任務(wù)之間的邏輯關(guān)系后，就可以確定各個任務(wù)之間都產(chǎn)生了哪些中間數(shù)據(jù)，上例中的表B和表C即可以被確定為中間數(shù)據(jù)。
[0021 ]不同的數(shù)據(jù)工程師對得到目標(biāo)數(shù)據(jù)而設(shè)置的計(jì)算方式會有所不同，有時還會根據(jù)其所負(fù)責(zé)的業(yè)務(wù)的實(shí)際需求來得到一些中間數(shù)據(jù)供進(jìn)行其他計(jì)算使用。因此，需要進(jìn)一步判斷這些中間數(shù)據(jù)會被使用，也就是判斷這些中間數(shù)據(jù)是否有必要進(jìn)行保存。
[0022]S12，分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存。
[0023]使用狀態(tài)包括該中間數(shù)據(jù)是否會被用于其它計(jì)算，以及該中間數(shù)據(jù)本身是否是其他任務(wù)鏈的最終結(jié)果。因此，對于中間數(shù)據(jù)是否需要保存的判定，可以通過多種方式進(jìn)行。
[0024]在一個實(shí)施例中，該步驟S12可進(jìn)一步被實(shí)施為以下步驟。
[0025]S120，根據(jù)業(yè)務(wù)需求分析中間數(shù)據(jù)是否在業(yè)務(wù)中被使用。
[0026]業(yè)務(wù)需求包括該數(shù)據(jù)是否用于其它業(yè)務(wù)數(shù)據(jù)的計(jì)算以及該中間數(shù)據(jù)在業(yè)務(wù)中是否也是需要的最終結(jié)果。例如，中間數(shù)據(jù)B記錄了上海的各門店在2016年I月至3月的智能電視銷量，如果業(yè)務(wù)中還需要進(jìn)一步篩選出銷量排名前五位的門店，則代表該中間數(shù)據(jù)B還會被使用;或者，該中間數(shù)據(jù)B本身就是一個統(tǒng)計(jì)上海市在2016年I月至3月的智能電視銷量的任務(wù)鏈的最終結(jié)果，則代表該中間數(shù)據(jù)也需要被使用。
[0027]S121，當(dāng)中間數(shù)據(jù)在業(yè)務(wù)中不被使用時，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0028]實(shí)現(xiàn)了根據(jù)預(yù)設(shè)的業(yè)務(wù)邏輯中對數(shù)據(jù)的實(shí)際需求來判定任務(wù)鏈的中間數(shù)據(jù)是否需要被保存。
[0029]在另一實(shí)施例中，該步驟S12還可以進(jìn)一步被實(shí)施為以下步驟。
[0030]S122，統(tǒng)計(jì)中間數(shù)據(jù)的未被使用的累積時長，當(dāng)累積時長達(dá)到預(yù)設(shè)門限時，標(biāo)記中間數(shù)據(jù)為不被使用的數(shù)據(jù)。
[0031 ]對于被判定為任務(wù)鏈中的中間數(shù)據(jù)，會統(tǒng)計(jì)該中間數(shù)據(jù)未被使用的累積時長，例如，只要沒有出現(xiàn)針對中間數(shù)據(jù)B的讀取操作，就說明該中間數(shù)據(jù)B沒有被使用，當(dāng)中間數(shù)據(jù)B被讀取時，累積時長將被清零并重新開始計(jì)時，如果在預(yù)設(shè)時長(例如12小時)都沒有針對中間數(shù)據(jù)B的讀取操作，則標(biāo)記該中間數(shù)據(jù)B為不被使用的數(shù)據(jù)。
[0032]為了降低發(fā)生誤判的概率，還會進(jìn)一步對該中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)進(jìn)行統(tǒng)計(jì)。如果在接下來的預(yù)設(shè)時長該數(shù)據(jù)仍然沒有被使用，則再一次標(biāo)記該中間數(shù)據(jù)為不會被使用的數(shù)據(jù)。
[0033]S123，當(dāng)中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0034]例如，中間數(shù)據(jù)B已連續(xù)10次被標(biāo)記為不被使用的數(shù)據(jù)，則可以認(rèn)為該數(shù)據(jù)不需要被繼續(xù)保存。
[0035]這種不會被使用的中間數(shù)據(jù)的出現(xiàn)往往都是由于不同的數(shù)據(jù)工程師通過不同的方式獲取目標(biāo)數(shù)據(jù)時而人為配置的，隨意性會比較強(qiáng)又不會被其他其他數(shù)據(jù)工程師所利用。
[0036]S13，當(dāng)中間數(shù)據(jù)不需要被保存時，刪除中間數(shù)據(jù)。
[0037]如上例中，如果表B被判定為不需要保存的中間數(shù)據(jù)，則刪除該表B;如果表C被判定為不需要保存的中間數(shù)據(jù)，則刪除該表C;如果表B和表C都被判定為不需要保存的中間數(shù)據(jù)，則將表B和表C全部刪除。
[0038]在多個任務(wù)組成的任務(wù)鏈中，會對各個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)進(jìn)行檢測，以判定其是否還會被利用，如果根據(jù)業(yè)務(wù)邏輯判定其不會被使用或者通過計(jì)時判定其很長時間都沒有被使用，則會將該中間數(shù)據(jù)刪除，清除了不必要的中間數(shù)據(jù)，從而節(jié)省了數(shù)據(jù)倉庫的存儲空間。
[0039]在一個實(shí)施例中，該大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法進(jìn)一步包括以下步驟。
[0040]S14，根據(jù)數(shù)據(jù)處理邏輯將多個任務(wù)合并為一個任務(wù)。
[0041]在刪除不需要保存的中間數(shù)據(jù)后，對于生成這些被刪除的中間數(shù)據(jù)的任務(wù)也可以隨之進(jìn)行相應(yīng)調(diào)整，將原來的多個任務(wù)合并成一個任務(wù)，也就避免了再次產(chǎn)生中間數(shù)據(jù)，同時還能節(jié)約數(shù)據(jù)倉庫的計(jì)算資源，提高數(shù)據(jù)倉庫的處理效率。如上例中，如果表B被判定為不需要保存的中間數(shù)據(jù)，則根據(jù)數(shù)據(jù)處理邏輯將任務(wù)TOl和T02合并為T12，合并后的任務(wù)T12的處理對象就是表A和表C，計(jì)算方法也相應(yīng)合并為從表A中讀取三個字段的數(shù)據(jù)并根據(jù)預(yù)設(shè)條件進(jìn)行篩選，將篩選結(jié)果寫入表B ο如果表C被判定為不需要保存的中間數(shù)據(jù)，則根據(jù)數(shù)據(jù)處理邏輯將任務(wù)T02和T03合并為T23，合并后的任務(wù)T23的處理對象就是表B和表D，計(jì)算方法也相應(yīng)合并為對表B中三個字段數(shù)據(jù)進(jìn)行篩選并將篩選結(jié)果添加至表D。如果表B和表C都被判定為不需要保存的中間數(shù)據(jù)，則根據(jù)數(shù)據(jù)處理邏輯將任務(wù)TOl、T02和T03合并為Τ13，合并后的任務(wù)Τ13的處理對象就是表A和表D，計(jì)算方法也相應(yīng)合并為從表A中讀取三個字段的數(shù)據(jù)并按照預(yù)設(shè)條件進(jìn)行篩選，將篩選結(jié)果添加到表D。
[0042]也就是說，如果兩個任務(wù)之間存在不會被使用的中間數(shù)據(jù)，則可以這兩個任務(wù)合并一個任務(wù)，如果連續(xù)出現(xiàn)多個不會被使用的中間數(shù)據(jù)，則可以將多個任務(wù)合并為一個任務(wù)，從而減少了數(shù)據(jù)倉庫中需要執(zhí)行的計(jì)算任務(wù)數(shù)量，節(jié)約了計(jì)算資源，有助于提高數(shù)據(jù)倉庫的處理效率。
[0043]在一個實(shí)施例中，如圖2所示，上述大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法可進(jìn)一步包括以下步驟。
[0044]S15，根據(jù)數(shù)據(jù)處理邏輯判斷是否同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)。
[0045 ] S16，當(dāng)同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)時，在相同的中間數(shù)據(jù)中保留一份副本并刪除其他相同的中間數(shù)據(jù)，后續(xù)任務(wù)都從保留的副本中讀取需要的數(shù)據(jù)。
[0046]該多個能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)來自于不同數(shù)據(jù)工程師的配置。例如，大家都已知存在表Α，甲需要提取表A中三個字段的數(shù)據(jù)并寫入表B，對表B的數(shù)據(jù)進(jìn)行預(yù)測分析，輸出分析結(jié)果至表C;而乙需要提取表A中相同的三個字段的數(shù)據(jù)并寫入表D，對表D的數(shù)據(jù)進(jìn)行篩選并將結(jié)果輸出到表Ε。可見此時存在兩個從表A讀取三個字段數(shù)據(jù)的任務(wù)，并分別將讀取到的數(shù)據(jù)寫入表B和表D。那么此時可以在表B和表D中保留任意一個并刪除另外一個，例如保留表B同時刪除表D，并將乙配置的把從表A讀取的數(shù)據(jù)寫入表D的任務(wù)以及從表D讀取數(shù)據(jù)進(jìn)行篩選的任務(wù)都重定向至表B，從而使乙配置的任務(wù)會把從表A讀取的數(shù)據(jù)寫入表B同時會從表B讀取數(shù)據(jù)進(jìn)行篩選。這樣即可將重復(fù)的中間數(shù)據(jù)進(jìn)行刪除，只保留一份副本來滿足其他任務(wù)的數(shù)據(jù)讀寫需求，進(jìn)一步節(jié)省了數(shù)據(jù)倉庫的存儲資源。
[0047]此外，在另一個實(shí)施例中，還可以進(jìn)一步將同時產(chǎn)生相同中間數(shù)據(jù)的多個任務(wù)合并為一個任務(wù)，如上例中在刪除表D之后可以進(jìn)一步將甲配置的提取表A中三個字段的數(shù)據(jù)并寫入表B的任務(wù)與甲配置的提取表A中三個字段的數(shù)據(jù)并重定向?qū)懭氡鞡的任務(wù)合并為一個任務(wù)。合并后，甲乙配置的其他后續(xù)任務(wù)共同利用該合并后的任務(wù)的輸出結(jié)果。
[0048]對同時產(chǎn)生相同中間數(shù)據(jù)的多個任務(wù)進(jìn)行合并，可以進(jìn)一步減少計(jì)算任務(wù)的數(shù)量，節(jié)約計(jì)算資源。
[0049]下面是本發(fā)明的裝置實(shí)施例，用于執(zhí)行本發(fā)明的上述方法實(shí)施例。
[0050]圖3是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化裝置，包括:
[0051 ]第一分析模塊30，用于分析多個任務(wù)的數(shù)據(jù)處理邏輯；
[0052]第一確定模塊31，用于根據(jù)多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)；
[0053]第二確定模塊32，用于分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存；
[0054]第一刪除模塊33，用于當(dāng)中間數(shù)據(jù)不需要被保存時，刪除中間數(shù)據(jù)。
[0055]在一個實(shí)施例中，該第二確定模塊32進(jìn)一步包括:
[0056]第一分析子模塊，用于根據(jù)業(yè)務(wù)需求分析所述中間數(shù)據(jù)是否在業(yè)務(wù)中被使用；
[0057]第一確定子模塊，用于當(dāng)所述中間數(shù)據(jù)在業(yè)務(wù)中不被使用時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。
[0058]在一個實(shí)施例中，該第二確定模塊32進(jìn)一步包括:
[0059]標(biāo)記子模塊，用于統(tǒng)計(jì)所述中間數(shù)據(jù)的未被使用的累積時長，當(dāng)所述累積時長達(dá)到預(yù)設(shè)門限時，標(biāo)記所述中間數(shù)據(jù)為不被使用的數(shù)據(jù)；
[0060]第二確定子模塊，用于當(dāng)所述中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。
[0061]在一個實(shí)施例中，該裝置進(jìn)一步包括:
[0062]合并模塊，用于根據(jù)數(shù)據(jù)處理邏輯將多個任務(wù)合并為一個任務(wù)。
[0063]在一個實(shí)施例中，如圖4所示，該裝置進(jìn)一步包括:
[0064]判斷模塊34，用于根據(jù)數(shù)據(jù)處理邏輯判斷是否同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)；
[0065]第二刪除模塊35，用于當(dāng)同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)時，在相同的中間數(shù)據(jù)中保留一份副本并刪除其他相同的中間數(shù)據(jù)，后續(xù)任務(wù)都從保留的副本中讀取需要的數(shù)據(jù)。
[0066]此外，本發(fā)明實(shí)施例中可以通過硬件處理器(hardware processor)來實(shí)現(xiàn)上述各個功能模塊。
[0067]本發(fā)明實(shí)施例還提供了一種服務(wù)器，該服務(wù)器包括:包括處理器；用于存儲處理器可執(zhí)行指令的存儲器;其中，處理器被配置為:分析多個任務(wù)的數(shù)據(jù)處理邏輯;根據(jù)所述多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù);分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存；當(dāng)所述中間數(shù)據(jù)不需要被保存時，刪除所述中間數(shù)據(jù)。
[0068]在一個實(shí)施例中，所述分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存包括:根據(jù)業(yè)務(wù)需求分析所述中間數(shù)據(jù)是否在業(yè)務(wù)中被使用；當(dāng)所述中間數(shù)據(jù)在業(yè)務(wù)中不被使用時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。
[0069]所述分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存包括:統(tǒng)計(jì)所述中間數(shù)據(jù)的未被使用的累積時長，當(dāng)所述累積時長達(dá)到預(yù)設(shè)門限時，標(biāo)記所述中間數(shù)據(jù)為不被使用的數(shù)據(jù)；當(dāng)所述中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。
[0070]在一個實(shí)施例中，該處理器進(jìn)一步被配置為:根據(jù)所述數(shù)據(jù)處理邏輯將所述多個任務(wù)合并為一個任務(wù)。
[0071 ]在一個實(shí)施例中，該處理器進(jìn)一步被配置為:根據(jù)數(shù)據(jù)處理邏輯判斷是否同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)；當(dāng)同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)時，在相同的中間數(shù)據(jù)中保留一份副本并刪除其他相同的中間數(shù)據(jù)，后續(xù)任務(wù)都從保留的副本中讀取需要的數(shù)據(jù)。
[0072]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實(shí)施。
[0073]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲在計(jì)算機(jī)可讀存儲介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0074]最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化方法，其特征在于，包括: 分析多個任務(wù)的數(shù)據(jù)處理邏輯； 根據(jù)所述多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)； 分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存； 當(dāng)所述中間數(shù)據(jù)不需要被保存時，刪除所述中間數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存包括: 根據(jù)業(yè)務(wù)需求分析所述中間數(shù)據(jù)是否在業(yè)務(wù)中被使用； 當(dāng)所述中間數(shù)據(jù)在業(yè)務(wù)中不被使用時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存包括: 統(tǒng)計(jì)所述中間數(shù)據(jù)的未被使用的累積時長，當(dāng)所述累積時長達(dá)到預(yù)設(shè)門限時，標(biāo)記所述中間數(shù)據(jù)為不被使用的數(shù)據(jù)； 當(dāng)所述中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 根據(jù)所述數(shù)據(jù)處理邏輯將所述多個任務(wù)合并為一個任務(wù)。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 根據(jù)數(shù)據(jù)處理邏輯判斷是否同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)； 當(dāng)同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)時，在相同的中間數(shù)據(jù)中保留一份副本并刪除其他相同的中間數(shù)據(jù)，后續(xù)任務(wù)都從保留的副本中讀取需要的數(shù)據(jù)。6.一種大數(shù)據(jù)處理中的數(shù)據(jù)優(yōu)化裝置，其特征在于，包括: 第一分析模塊，用于分析多個任務(wù)的數(shù)據(jù)處理邏輯； 第一確定模塊，用于根據(jù)所述多個任務(wù)的數(shù)據(jù)處理邏輯確定多個任務(wù)之間產(chǎn)生的中間數(shù)據(jù)； 第二確定模塊，用于分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存； 第一刪除模塊，用于當(dāng)所述中間數(shù)據(jù)不需要被保存時，刪除所述中間數(shù)據(jù)。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二確定模塊包括: 第一分析子模塊，用于根據(jù)業(yè)務(wù)需求分析所述中間數(shù)據(jù)是否在業(yè)務(wù)中被使用； 第一確定子模塊，用于當(dāng)所述中間數(shù)據(jù)在業(yè)務(wù)中不被使用時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二確定模塊包括: 標(biāo)記子模塊，用于統(tǒng)計(jì)所述中間數(shù)據(jù)的未被使用的累積時長，當(dāng)所述累積時長達(dá)到預(yù)設(shè)門限時，標(biāo)記所述中間數(shù)據(jù)為不被使用的數(shù)據(jù)； 第二確定子模塊，用于當(dāng)所述中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 合并模塊，用于根據(jù)所述數(shù)據(jù)處理邏輯將所述多個任務(wù)合并為一個任務(wù)。10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 判斷模塊，用于根據(jù)數(shù)據(jù)處理邏輯判斷是否同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)； 第二刪除模塊，用于當(dāng)同時存在多個任務(wù)能夠產(chǎn)生相同的中間數(shù)據(jù)時，在相同的中間數(shù)據(jù)中保留一份副本并刪除其他相同的中間數(shù)據(jù)，后續(xù)任務(wù)都從保留的副本中讀取需要的數(shù)據(jù)。
【文檔編號】G06F17/30GK105975577SQ201610290381
【公開日】2016年9月28日
【申請日】2016年5月4日
【發(fā)明人】劉宏斌, 國鐵龍, 楊海樂
【申請人】樂視控股（北京）有限公司, 樂視網(wǎng)信息技術(shù)（北京）股份有限公司