一種數(shù)據(jù)文件的推送方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于通信技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)文件的推送方法、裝置及系統(tǒng)。
【背景技術(shù)】
[0002]目前在廣點(diǎn)通、微信朋友圈的廣告推薦系統(tǒng)中，為了提升推薦的精準(zhǔn)度，經(jīng)常會使用到一些外部數(shù)據(jù)(如廣告點(diǎn)擊數(shù)據(jù)、廣告發(fā)布數(shù)據(jù)等)來做算法預(yù)測。這些數(shù)據(jù)往往需要保持強(qiáng)一致性，且由于數(shù)據(jù)特性原因不便做增量更新，故目前采取的方式是把這類數(shù)據(jù)先存放在文件中再推送到目的機(jī)器上。
[0003]該推薦系統(tǒng)包括任務(wù)提交客戶端(MC，Model Client)、推送數(shù)據(jù)接收實(shí)例(MA，Model Agent)以及推送服務(wù)器(PS，Push Server);數(shù)據(jù)文件推送之前，MC把數(shù)據(jù)文件上傳到hadoop分布式文件系統(tǒng)(HDFS，Hadoop Distributed File System)中，并在大型分布式協(xié)調(diào)系統(tǒng)(zookeeper)中記錄一次推送任務(wù)；其后，PS感知到zookeeper上有新的推送任務(wù)，則把數(shù)據(jù)文件從HDFS上拉取下來并推送到各個MA，以使實(shí)時廣告推薦系統(tǒng)(TRE)加載數(shù)據(jù)文件，其中MA跟實(shí)時廣告推薦系統(tǒng)部署在統(tǒng)一機(jī)器上。
[0004]在對現(xiàn)有技術(shù)的研究和實(shí)踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，一般情況下，在廣告推薦系統(tǒng)中，這些數(shù)據(jù)的同步越快，推薦的效果就會越好。但隨著推薦算法的發(fā)展，數(shù)據(jù)文件也越來越大，即需要同步的數(shù)據(jù)量也越來越大，因此會導(dǎo)致網(wǎng)絡(luò)帶寬占用率較大，數(shù)據(jù)的時效性不高的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種數(shù)據(jù)文件的推送方法、裝置及系統(tǒng)，旨在減少網(wǎng)絡(luò)帶寬占用率，提高數(shù)據(jù)的時效性。
[0006]為解決上述技術(shù)問題，本發(fā)明第一方面提供以下技術(shù)方案:
[0007]—種數(shù)據(jù)文件的推送方法，其中包括:
[0008]獲取需推送的數(shù)據(jù)文件；
[0009]確定數(shù)據(jù)接收端的資源敏感類型；
[0010]根據(jù)所述資源敏感類型確定所述數(shù)據(jù)文件需做壓縮處理時，獲取對應(yīng)的壓縮算法;
[0011 ] 利用所述壓縮算法對所述數(shù)據(jù)文件進(jìn)行壓縮；
[0012]將壓縮后的數(shù)據(jù)文件推送至對應(yīng)的數(shù)據(jù)接收端。
[0013]本發(fā)明第二方面提供以下技術(shù)方案:
[0014]—種數(shù)據(jù)文件的推送裝置，其中包括:
[0015]第一獲取單元，用于獲取需推送的數(shù)據(jù)文件；
[0016]確定單元，用于確定數(shù)據(jù)接收端的資源敏感類型；
[0017]第二獲取單元，用于根據(jù)所述資源敏感類型確定所述數(shù)據(jù)文件需做壓縮處理時，獲取對應(yīng)的壓縮算法；
[0018]壓縮推送單元，用于利用所述壓縮算法對所述數(shù)據(jù)文件進(jìn)行壓縮，并將壓縮后的數(shù)據(jù)文件推送至對應(yīng)的數(shù)據(jù)接收端。
[0019]本發(fā)明第三方面提供以下技術(shù)方案:
[0020]—種數(shù)據(jù)文件的推送系統(tǒng)，包括任務(wù)提交端、推送服務(wù)器以及數(shù)據(jù)接收端，其中，所述推送服務(wù)器為如上所述的數(shù)據(jù)文件的推送裝置，用于獲取需推送的數(shù)據(jù)文件；確定數(shù)據(jù)接收端的資源敏感類型；根據(jù)資源敏感類型確定數(shù)據(jù)文件需做壓縮處理時，獲取對應(yīng)的壓縮算法；利用壓縮算法對數(shù)據(jù)文件進(jìn)行壓縮；將壓縮后的數(shù)據(jù)文件推送至對應(yīng)的數(shù)據(jù)接收端；
[0021]所述任務(wù)提交端，用于將數(shù)據(jù)文件上傳到預(yù)設(shè)的分布式文件系統(tǒng)，并在預(yù)設(shè)的分布式協(xié)調(diào)系統(tǒng)提交推送任務(wù)請求；
[0022]所述數(shù)據(jù)接收端，用于接收所述數(shù)據(jù)文件的推送裝置推送的數(shù)據(jù)文件。
[0023]相對于現(xiàn)有技術(shù)，本實(shí)施例，根據(jù)數(shù)據(jù)接收端的資源敏感類型確定數(shù)據(jù)文件需做壓縮處理時，獲取該資源敏感類型對應(yīng)的壓縮算法，其后利用該壓縮算法對數(shù)據(jù)文件進(jìn)行壓縮，并將壓縮后的數(shù)據(jù)文件推送至對應(yīng)的數(shù)據(jù)接收端；本發(fā)明實(shí)施例在數(shù)據(jù)文件傳輸前，根據(jù)數(shù)據(jù)接收端的特性確定需推送的數(shù)據(jù)文件是否做壓縮，若需要，則選擇相應(yīng)的壓縮算法對數(shù)據(jù)文件進(jìn)行壓縮并推送，可有效的限制了推送的數(shù)據(jù)文件的大小，從而降低了同步的數(shù)據(jù)量，減少網(wǎng)絡(luò)帶寬占用率，提高數(shù)據(jù)的時效性。
【附圖說明】
[0024]下面結(jié)合附圖，通過對本發(fā)明的【具體實(shí)施方式】詳細(xì)描述，將使本發(fā)明的技術(shù)方案及其它有益效果顯而易見。
[0025]圖1a是本發(fā)明提供的數(shù)據(jù)文件的推送方法的場景示意圖；
[0026]圖1b是本發(fā)明第一實(shí)施例提供的數(shù)據(jù)文件的推送方法的流程示意圖；
[0027]圖2a為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)文件的推送的工作機(jī)制示意圖；
[0028]圖2b為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)文件的推送方法的流程示意圖；
[0029]圖3為本發(fā)明第三實(shí)施例提供的數(shù)據(jù)文件的推送裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0030]請參照圖式，其中相同的組件符號代表相同的組件，本發(fā)明的原理是以實(shí)施在一適當(dāng)?shù)倪\(yùn)算環(huán)境中來舉例說明。以下的說明是基于所例示的本發(fā)明具體實(shí)施例，其不應(yīng)被視為限制本發(fā)明未在此詳述的其它具體實(shí)施例。
[0031]在以下的說明中，本發(fā)明的具體實(shí)施例將參考由一部或多部計算機(jī)所執(zhí)行的步驟及符號來說明，除非另有述明。因此，這些步驟及操作將有數(shù)次提到由計算機(jī)執(zhí)行，本文所指的計算機(jī)執(zhí)行包括了由代表了以一結(jié)構(gòu)化型式中的數(shù)據(jù)的電子信號的計算機(jī)處理單元的操作。此操作轉(zhuǎn)換該數(shù)據(jù)或?qū)⑵渚S持在該計算機(jī)的內(nèi)存系統(tǒng)中的位置處，其可重新配置或另外以本領(lǐng)域測試人員所熟知的方式來改變該計算機(jī)的運(yùn)作。該數(shù)據(jù)所維持的數(shù)據(jù)結(jié)構(gòu)為該內(nèi)存的實(shí)體位置，其具有由該數(shù)據(jù)格式所定義的特定特性。但是，本發(fā)明原理以上述文字來說明，其并不代表為一種限制，本領(lǐng)域測試人員將可了解到以下所述的多種步驟及操作亦可實(shí)施在硬件當(dāng)中。
[0032]本發(fā)明的原理使用許多其它泛用性或特定目的運(yùn)算、通信環(huán)境或組態(tài)來進(jìn)行操作。所熟知的適合用于本發(fā)明的運(yùn)算系統(tǒng)、環(huán)境與組態(tài)的范例可包括(但不限于)手持電話、個人計算機(jī)、服務(wù)器、多處理器系統(tǒng)、微電腦為主的系統(tǒng)、主架構(gòu)型計算機(jī)、及分布式運(yùn)算環(huán)境，其中包括了任何的上述系統(tǒng)或裝置。
[0033]本發(fā)明實(shí)施例提供一種數(shù)據(jù)文件的推送方法、裝置和系統(tǒng)。
[0034]參見圖la，該圖為本發(fā)明實(shí)施例所提供的數(shù)據(jù)文件推送的場景示意圖，該數(shù)據(jù)文件推送系統(tǒng)可以包括數(shù)據(jù)文件推送裝置，可簡稱推送服務(wù)器(PS)，主要用于獲取需推送的數(shù)據(jù)文件；確定數(shù)據(jù)接收端(MA)的資源敏感類型，例如可以屬于中央處理器(CPU，CentralProcessing Unit)敏感型、或者屬于網(wǎng)絡(luò)帶寬敏感型、或者既屬于CPU敏感型，又屬于網(wǎng)絡(luò)帶寬敏感型等等；其后，根據(jù)前述資源敏感類型確定出數(shù)據(jù)文件需要做壓縮處理時，獲取與該資源敏感類型對應(yīng)的壓縮算法；利用壓縮算法對該數(shù)據(jù)文件進(jìn)行壓縮，并將壓縮后的數(shù)據(jù)文件推送至對應(yīng)的數(shù)據(jù)接收端。
[0035]此外，該數(shù)據(jù)文件推送系統(tǒng)還可以包括任務(wù)提交端(MC)，主要用于將數(shù)據(jù)文件上傳到預(yù)設(shè)的分布式文件系統(tǒng)，并在預(yù)設(shè)的分布式協(xié)調(diào)系統(tǒng)提交推送任務(wù)請求。例如，當(dāng)推送服務(wù)器感知分布式協(xié)調(diào)系統(tǒng)上有新的推送任務(wù)請求，就會從分布式文件系統(tǒng)上下載數(shù)據(jù)文件，下載完成后進(jìn)入就緒狀態(tài)；當(dāng)然，該數(shù)據(jù)文件推送系統(tǒng)還可以包括數(shù)據(jù)接收端，若空閑時則進(jìn)入就緒狀態(tài)，并接收推送服務(wù)器推送的數(shù)據(jù)文件，以供線上生產(chǎn)系統(tǒng)加載，例如，可以供廣告推薦系統(tǒng)TRE加載數(shù)據(jù)文件，等等。
[0036]以下將分別進(jìn)行詳細(xì)說明。
[0037]第一實(shí)施例
[0038]在本實(shí)施例中，將從數(shù)據(jù)文件的推送裝置(如推送服務(wù)器PS)的角度進(jìn)行描述，該數(shù)據(jù)文件推送裝置具體可以集成在服務(wù)器或網(wǎng)關(guān)等網(wǎng)絡(luò)設(shè)備中。
[0039]—種數(shù)據(jù)文件的推送方法，包括:獲取需推送的數(shù)據(jù)文件；確定數(shù)據(jù)接收端的資源敏感類型；根據(jù)該資源敏感類型確定所述數(shù)據(jù)文件需做壓縮處理時，獲取對應(yīng)的壓縮算法；利用該壓縮算法對數(shù)據(jù)文件進(jìn)行壓縮；將壓縮后的數(shù)據(jù)文件推送至對應(yīng)的數(shù)據(jù)接收端。
[0040]請參閱圖1，圖1是本發(fā)明第一實(shí)施例提供的數(shù)據(jù)文件的推送方法的流程示意圖，具體流程可以包括:
[0041]在步驟SlOl中，獲取需推送的數(shù)據(jù)文件。
[0042]本發(fā)明實(shí)施例中的數(shù)據(jù)文件可以為任意格式的文件，視具體使用場景的需求而定；比如，在廣告推薦系統(tǒng)中，可以具體指廣告點(diǎn)擊、廣告發(fā)布等數(shù)據(jù)文件。
[0043]可以理解的是，推送服務(wù)器可以從預(yù)設(shè)的分布式文件系統(tǒng)中獲取到需推送的數(shù)據(jù)文件，