本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法及裝置。

背景技術(shù)：

數(shù)據(jù)分析是組織有目的地收集數(shù)據(jù)、數(shù)據(jù)處理、分析數(shù)據(jù)，使之成為信息的過程。數(shù)據(jù)分析的前提是數(shù)據(jù)采集和數(shù)據(jù)處理，在數(shù)據(jù)采集過程中數(shù)據(jù)來源可能不同，格式也可能不同，因此在進(jìn)行數(shù)據(jù)采集時(shí)，可以使用現(xiàn)有技術(shù)中提供的數(shù)據(jù)采集軟件，例如，在采集網(wǎng)頁視頻播放數(shù)據(jù)時(shí)，可以使用采集網(wǎng)頁視頻播放數(shù)據(jù)的軟件開發(fā)包(Software Development Kit，SDK)；在采集移動(dòng)端的用戶行為數(shù)據(jù)時(shí)，可以使用移動(dòng)端的用戶行為數(shù)據(jù)SDK等等。在數(shù)據(jù)采集過程中使用的SDK，均有特定的來源信息、特定的數(shù)據(jù)格式、特定的數(shù)據(jù)傳送格式，在數(shù)據(jù)處理時(shí)要分別針對(duì)特定的來源信息、特定的數(shù)據(jù)格式、特定的數(shù)據(jù)傳送格式進(jìn)行數(shù)據(jù)處理。

在使用數(shù)據(jù)采集軟件進(jìn)行數(shù)據(jù)采集時(shí)，發(fā)明人發(fā)現(xiàn)其存在如下問題：當(dāng)同時(shí)采集網(wǎng)頁視頻播放數(shù)據(jù)與移動(dòng)端的用戶行為數(shù)據(jù)兩種數(shù)據(jù)采集指標(biāo)時(shí)，需要對(duì)網(wǎng)頁視頻播放數(shù)據(jù)與移動(dòng)端的用戶行為分別部署不同的數(shù)據(jù)采集平臺(tái)，才能實(shí)現(xiàn)同時(shí)采集到網(wǎng)頁視頻播放數(shù)據(jù)與移動(dòng)端的用戶行為數(shù)據(jù)；或者，在一個(gè)采集網(wǎng)頁視頻播放數(shù)據(jù)的數(shù)據(jù)采集平臺(tái)中添加一個(gè)采集移動(dòng)端的用戶行為。但是，在一個(gè)數(shù)據(jù)采集平臺(tái)中添加、修改及刪除數(shù)據(jù)采集指標(biāo)，需要對(duì)該數(shù)據(jù)采集平臺(tái)中現(xiàn)有的代碼做較多修改，因此，現(xiàn)有數(shù)據(jù)采集平臺(tái)中在添加、修改及刪除數(shù)據(jù)采集指標(biāo)時(shí)靈活性較低。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供的一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法及裝置，主要目的在于提高數(shù)據(jù)采集平臺(tái)中添加、修改及刪除數(shù)據(jù)采集指標(biāo)的靈活性。

為了解決上述問題，本發(fā)明主要提供如下技術(shù)方案：

一方面，本發(fā)明提供了一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法，該方法包括：

接收數(shù)據(jù)采集指令，并根據(jù)所述數(shù)據(jù)采集指令采集待處理數(shù)據(jù)；其中，所述數(shù)據(jù)采集指令由服務(wù)器生成，且所述數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的配置信息，所述配置信息包含：采集待處理數(shù)據(jù)的數(shù)量、數(shù)據(jù)類型、數(shù)據(jù)發(fā)送協(xié)議；

解析所述數(shù)據(jù)采集指令，獲取所述待處理數(shù)據(jù)的所述配置信息；

基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理；其中，所述模塊化處理包括數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送。

另一方面，本發(fā)明還提供一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化裝置，該裝置包括：

接收單元，用于接收數(shù)據(jù)采集指令，其中，所述數(shù)據(jù)采集指令由服務(wù)器生成，且所述數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的配置信息，所述配置信息包含：采集待處理數(shù)據(jù)的數(shù)量、數(shù)據(jù)類型、數(shù)據(jù)發(fā)送協(xié)議；

采集單元，用于根據(jù)所述接收單元接收的所述數(shù)據(jù)采集指令采集待處理數(shù)據(jù)；

解析單元，用于解析所述接收單元接收的所述數(shù)據(jù)采集指令；

獲取單元，用于在所述解析單元解析所述數(shù)據(jù)采集指令之后，獲取所述待處理數(shù)據(jù)的所述配置信息；

處理單元，用于基于所述獲取單元獲取的所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理；其中，所述模塊化處理包括數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送。

借由上述技術(shù)方案，本發(fā)明提供的技術(shù)方案至少具有下列優(yōu)點(diǎn)：

本發(fā)明提供的數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法及裝置，接收數(shù)據(jù)采集指令，并根據(jù)該數(shù)據(jù)采集指令采集待處理數(shù)據(jù)，該數(shù)據(jù)采集指令由服務(wù)器生成，且該數(shù)據(jù)采集指令包含有待處理數(shù)據(jù)的配置信息，解析該數(shù)據(jù)采集指令，并獲取待處理數(shù)據(jù)的配置信息，基于該配置信息對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，其中，該模塊化處理包括：數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送；與現(xiàn)有技術(shù)相比，本發(fā)明通過數(shù)據(jù)采集指令中的配置 信息，配置待處理數(shù)據(jù)，并基于該配置信息對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，提高了基于一個(gè)數(shù)據(jù)采集平臺(tái)添加、修改及刪除數(shù)據(jù)采集指標(biāo)的靈活性。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說明

通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：

圖1示出了本發(fā)明實(shí)施例提供的一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法的流程圖；

圖2示出了本發(fā)明實(shí)施例提供的一種模塊化處理的示意圖；

圖3示出了本發(fā)明實(shí)施例提供的一種基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理方法的流程圖；

圖4示出了本發(fā)明實(shí)施例提供的一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化裝置的組成框圖；

圖5示出了本發(fā)明實(shí)施例提供的另一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化裝置的組成框。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

本發(fā)明實(shí)施例提供一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法，如圖1所示，該方法包括：

101、接收數(shù)據(jù)采集指令，并根據(jù)所述數(shù)據(jù)采集指令采集待處理數(shù)據(jù)。

在本發(fā)明實(shí)施例中，將數(shù)據(jù)采集平臺(tái)中采集待處理數(shù)據(jù)的采集邏輯進(jìn)行抽取，將抽取出的采集邏輯做成一個(gè)接口，該接口的功能為：將采集到的待處理數(shù)據(jù)交由封裝后的不同指標(biāo)模塊，由該些指標(biāo)模塊對(duì)待處理數(shù)據(jù)進(jìn)行處理；其中，所述指標(biāo)模塊為對(duì)數(shù)據(jù)采集平臺(tái)原有的處理待處理數(shù)據(jù)的方法進(jìn)行模塊化封裝形成指標(biāo)模塊?；谟脩魧用嫔蟻碚f，當(dāng)基于該接口采集待處理數(shù)據(jù)之后，無需對(duì)待處理數(shù)據(jù)進(jìn)行處理即可將采集的待處理數(shù)據(jù)發(fā)送至服務(wù)器；基于技術(shù)實(shí)現(xiàn)上來說，當(dāng)采集待處理數(shù)據(jù)之后，將待處理數(shù)據(jù)傳遞至不同的指標(biāo)模塊中，由不同的指標(biāo)模塊分別對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，模塊化處理包括：數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送等操作過程。

在采集待處理數(shù)據(jù)時(shí)，由預(yù)設(shè)數(shù)據(jù)采集接口采集待處理數(shù)據(jù)，在預(yù)設(shè)數(shù)據(jù)采集接口采集待處理時(shí)，接收服務(wù)器發(fā)送的數(shù)據(jù)采集指令，并根據(jù)該數(shù)據(jù)采集指令采集待處理數(shù)據(jù)，該數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的配置信息，所述配置信息包含：采集待處理數(shù)據(jù)的數(shù)量、數(shù)據(jù)類型、數(shù)據(jù)發(fā)送協(xié)議。

示例性的，假設(shè)，數(shù)據(jù)采集指令中的配置信息為：采集待處理數(shù)據(jù)的數(shù)量為2個(gè)，分別為vido play begin time及vido play end time，且該待處理數(shù)據(jù)的數(shù)據(jù)類型均為數(shù)值型，則預(yù)設(shè)數(shù)據(jù)采集接口只采集vido play begin time及vido play end time對(duì)應(yīng)的待處理數(shù)據(jù)。

102、解析所述數(shù)據(jù)采集指令，并獲取所述待處理數(shù)據(jù)的所述配置信息。

對(duì)數(shù)據(jù)采集指令進(jìn)行解析，獲取數(shù)據(jù)采集指令中待處理數(shù)據(jù)對(duì)應(yīng)的配置信息，其目的在于，基于配置信息對(duì)待處理數(shù)據(jù)進(jìn)行處理，同時(shí)，檢驗(yàn)采集的待處理數(shù)據(jù)與配置信息中記錄的內(nèi)容是否一致。

作為本發(fā)明實(shí)施例的一種實(shí)現(xiàn)方式，所述配置信息存儲(chǔ)于表格中，作為本發(fā)明實(shí)施例的另一種實(shí)現(xiàn)方式，所述配置信息存儲(chǔ)于文件中。本發(fā)明實(shí)施例對(duì)配置信息的存儲(chǔ)形式不進(jìn)行限定。

103、基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理。

本發(fā)明實(shí)施例中，對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，所述模塊化處理包括數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送。需要說明的是，模塊化處 理即將待處理數(shù)據(jù)分別傳遞至數(shù)據(jù)格式化指標(biāo)模塊、加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊、數(shù)據(jù)發(fā)送指標(biāo)模塊中，數(shù)據(jù)格式化指標(biāo)模塊、加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊、數(shù)據(jù)發(fā)送指標(biāo)模塊分別按照其模塊內(nèi)的功能對(duì)待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。

數(shù)據(jù)格式化指標(biāo)模塊在對(duì)待處理數(shù)據(jù)進(jìn)行處理時(shí)，基于配置文件中的待處理數(shù)據(jù)的數(shù)量、數(shù)據(jù)類型對(duì)待處理數(shù)據(jù)進(jìn)行格式化處理；加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊將格式化處理后的待處理數(shù)據(jù)執(zhí)行加入數(shù)據(jù)發(fā)送隊(duì)列中，以監(jiān)測(cè)待處理數(shù)據(jù)是否已成功發(fā)送至服務(wù)器；數(shù)據(jù)發(fā)送指標(biāo)模塊基于配置信息中的數(shù)據(jù)發(fā)送協(xié)議將數(shù)據(jù)發(fā)送隊(duì)列中的待處理數(shù)據(jù)發(fā)送至服務(wù)器。

為了便于對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，以下將以示例的形式對(duì)模塊化處理進(jìn)行詳細(xì)說明。如圖2所示，圖2示出了本發(fā)明實(shí)施例提供的一種模塊化處理的示意圖；當(dāng)待處理數(shù)據(jù)傳遞至數(shù)據(jù)格式化指標(biāo)模塊時(shí)，數(shù)據(jù)格式化指標(biāo)模塊基于配置信息中的待處理數(shù)據(jù)的數(shù)量、數(shù)據(jù)類型進(jìn)行格式化處理；格式化處理后將待處理數(shù)據(jù)傳遞至加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊，將待處理數(shù)據(jù)執(zhí)行加入數(shù)據(jù)發(fā)送隊(duì)列；將待處理數(shù)據(jù)傳遞至數(shù)據(jù)發(fā)送指標(biāo)模塊，數(shù)據(jù)發(fā)送指標(biāo)模塊基于配置信息中的數(shù)據(jù)發(fā)送協(xié)議將待處理數(shù)據(jù)發(fā)送至服務(wù)器。其中，圖2僅為便于理解對(duì)待處理的護(hù)具進(jìn)行模塊化處理抽象給出的示意圖，具體的本發(fā)明實(shí)施例對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理的詳細(xì)過程不進(jìn)行限定。

需要說明的是，由于本發(fā)明實(shí)施例所述的待處理數(shù)據(jù)的數(shù)據(jù)類型為非特定數(shù)據(jù)類型的數(shù)據(jù)，因此，在數(shù)據(jù)格式化指標(biāo)模塊、加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊、數(shù)據(jù)發(fā)送指標(biāo)模塊對(duì)待處理數(shù)據(jù)進(jìn)行處理時(shí)，彼此之間相互獨(dú)立，即當(dāng)待處理數(shù)據(jù)傳遞至數(shù)據(jù)格式化指標(biāo)模塊進(jìn)行處理時(shí)，該數(shù)據(jù)格式化指標(biāo)模塊對(duì)待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)格式化處理，格式化處理后的待處理數(shù)據(jù)在傳遞給入加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊、數(shù)據(jù)發(fā)送指標(biāo)模塊進(jìn)行數(shù)據(jù)處理時(shí)，也不會(huì)因?yàn)樵摯幚頂?shù)據(jù)因?yàn)楸粩?shù)據(jù)格式化指標(biāo)模塊處理，而產(chǎn)生其他的影響。更簡(jiǎn)單的理解為：待處理數(shù)據(jù)作為一串沒有特殊意義的字符串，數(shù)據(jù)格式化指標(biāo)模塊、加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊、數(shù)據(jù)發(fā)送指標(biāo)模塊分別按照其內(nèi)部處理字符串的方式對(duì)待處理數(shù)據(jù)形成的字符串進(jìn)行處理。

本發(fā)明實(shí)施例提供的數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化方法，根據(jù)數(shù) 據(jù)采集指令采集待處理數(shù)據(jù)，該數(shù)據(jù)采集指令由服務(wù)器生成，且該數(shù)據(jù)采集指令包含有待處理數(shù)據(jù)的配置信息，解析該數(shù)據(jù)采集指令，并獲取待處理數(shù)據(jù)的配置信息，基于該配置信息對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，其中，該模塊化處理包括：數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送；與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過數(shù)據(jù)采集指令中的配置信息，配置待處理數(shù)據(jù)，并基于該配置信息對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，提高了基于一個(gè)數(shù)據(jù)采集平臺(tái)添加、修改及刪除數(shù)據(jù)采集指標(biāo)的靈活性。

進(jìn)一步的，作為對(duì)上述實(shí)施例的細(xì)化和擴(kuò)展，在執(zhí)行步驟103基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理時(shí)?？梢园痪窒抻谝韵碌姆椒?，如圖3所示，該方法包括：

301、獲取所述待處理數(shù)據(jù)。

本發(fā)明實(shí)施例中，所述待處理數(shù)據(jù)的個(gè)數(shù)由配置信息決定，所述待處理數(shù)據(jù)可以為一個(gè)，也可以為至少兩個(gè)，本發(fā)明實(shí)施例對(duì)配置信息中配置待處理數(shù)據(jù)的具體個(gè)數(shù)不進(jìn)行限定。

302、基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)格式化處理。

數(shù)據(jù)格式化指標(biāo)模塊在對(duì)待處理數(shù)據(jù)進(jìn)行處理之前，首先獲取配置信息中的待處理數(shù)據(jù)的數(shù)量及數(shù)據(jù)類型，并判斷獲取的配置信息中的待處理數(shù)據(jù)的數(shù)量及數(shù)據(jù)類型是否與步驟301中獲取待處理數(shù)據(jù)的數(shù)量及數(shù)據(jù)類型一致。若一致，則繼續(xù)步驟303對(duì)獲取的待處理數(shù)據(jù)進(jìn)行格式化處理；若不一致，則說明步驟301獲取的待處理數(shù)據(jù)是錯(cuò)誤的，因此將步驟301獲取的待處理數(shù)據(jù)丟棄。

本發(fā)明實(shí)施例中，在數(shù)據(jù)格式化指標(biāo)模塊對(duì)待處理數(shù)據(jù)進(jìn)行格式化處理時(shí)，根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理，所述預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式；其中，預(yù)置規(guī)范規(guī)則為人為設(shè)置的，包括：待處理數(shù)據(jù)的長(zhǎng)度信息、待處理數(shù)據(jù)的特定格式轉(zhuǎn)換、當(dāng)存在多個(gè)待處理數(shù)據(jù)時(shí)，對(duì)該些待處理數(shù)據(jù)進(jìn)行拼接時(shí)使用的連接符等等。

示例性的，以預(yù)置規(guī)范規(guī)則中的待處理數(shù)據(jù)的特定格式轉(zhuǎn)換為例進(jìn)行說明。若待處理數(shù)據(jù)為視頻緩沖時(shí)長(zhǎng)vido play buffer time＝800毫秒，而預(yù)置規(guī)范規(guī)則中要求待處理數(shù)據(jù)的單位為秒，則需要將視頻緩沖時(shí)長(zhǎng)vido play buffer time＝800毫秒格式化處理為視頻緩沖時(shí)長(zhǎng)vido play buffer time＝0.8秒，以上僅為示例性的舉例，本發(fā)明實(shí)施例對(duì)預(yù)置規(guī)范規(guī)則不進(jìn)行具體限定。

303、將數(shù)據(jù)格式化處理后的所述待處理數(shù)據(jù)執(zhí)行加入數(shù)據(jù)發(fā)送隊(duì)列。

本發(fā)明實(shí)施例最終的目的是將采集到的待處理數(shù)據(jù)發(fā)送至服務(wù)器，為了能夠確認(rèn)是否已經(jīng)將待處理數(shù)據(jù)發(fā)送至服務(wù)器，在數(shù)據(jù)發(fā)送指標(biāo)模塊向服務(wù)器發(fā)送待處理數(shù)據(jù)之前，加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊將該待處理數(shù)據(jù)發(fā)送執(zhí)行加入數(shù)據(jù)發(fā)送隊(duì)列中，該數(shù)據(jù)發(fā)送隊(duì)列用于存儲(chǔ)格式化處理后的待處理數(shù)據(jù)；該發(fā)送等待隊(duì)列能夠控制發(fā)送待處理數(shù)據(jù)的發(fā)送時(shí)間、監(jiān)測(cè)待處理數(shù)據(jù)是否發(fā)送成功，具體包括：加入數(shù)據(jù)發(fā)送隊(duì)列指標(biāo)模塊將格式化處理后的待處理數(shù)據(jù)添加到發(fā)送等待隊(duì)列中，發(fā)送等待隊(duì)列中設(shè)置發(fā)送待處理數(shù)據(jù)的間隔時(shí)長(zhǎng)為10s，即發(fā)送等待隊(duì)列中每隔10s發(fā)送一個(gè)待處理數(shù)據(jù)，并監(jiān)測(cè)該待處理數(shù)據(jù)是否發(fā)送成功，若該待處理數(shù)據(jù)發(fā)送成功，則對(duì)該待處理數(shù)據(jù)進(jìn)行發(fā)送成功的標(biāo)識(shí)；若該待處理數(shù)據(jù)發(fā)送失敗，則對(duì)該待處理數(shù)據(jù)進(jìn)行發(fā)送失敗的標(biāo)識(shí)。本發(fā)明實(shí)施例中，有關(guān)對(duì)待處理數(shù)據(jù)進(jìn)行發(fā)送成功/失敗的標(biāo)識(shí)方法請(qǐng)參考現(xiàn)有技術(shù)中的相關(guān)實(shí)現(xiàn)，本發(fā)明實(shí)施例在此不再進(jìn)行贅述。需要說明的是，本發(fā)明實(shí)施例對(duì)發(fā)送等待隊(duì)列中發(fā)送待處理數(shù)據(jù)的間隔時(shí)長(zhǎng)不進(jìn)行限定。

304、將所述數(shù)據(jù)發(fā)送隊(duì)列中的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

在數(shù)據(jù)發(fā)送指標(biāo)模塊向服務(wù)器發(fā)送待處理數(shù)據(jù)時(shí)，對(duì)配置信息進(jìn)行解析，確定發(fā)送待處理數(shù)據(jù)的數(shù)據(jù)發(fā)送協(xié)議，若配置信息中沒有指示發(fā)送待處理數(shù)據(jù)的數(shù)據(jù)發(fā)送協(xié)議，則使用數(shù)據(jù)發(fā)送指標(biāo)模塊中默認(rèn)的數(shù)據(jù)發(fā)送協(xié)議。本發(fā)明實(shí)施例中，所述數(shù)據(jù)發(fā)送協(xié)議包含但不局限于以下方式，例如，超文本傳送協(xié)議(Hypertext transfer protocol,HTTP)的GET方法、POST方法以及PUT方法；或者，傳輸控制協(xié)議(Transmission Control Protocol，TCP)；本發(fā)明實(shí)施例對(duì)發(fā)送協(xié)議的具體內(nèi)容不進(jìn)行限定。

根據(jù)上述方法實(shí)施例，下面提供一種裝置實(shí)施例，該裝置實(shí)施例與前述方法實(shí)施例對(duì)應(yīng)，為便于閱讀，本裝置實(shí)施例不再對(duì)前述方法實(shí)施例中的細(xì)節(jié)內(nèi)容進(jìn)行逐一贅述，但應(yīng)當(dāng)明確，本實(shí)施例中的裝置能夠?qū)?yīng)實(shí)現(xiàn)前述方法實(shí)施例中的全部?jī)?nèi)容。

進(jìn)一步的，本發(fā)明實(shí)施還一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化裝置，如圖4所示，該裝置包括：

接收單元41，用于接收數(shù)據(jù)采集指令，其中，所述數(shù)據(jù)采集指令由服務(wù)器生成，且所述數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的配置信息，所述配置信息包含：采集待處理數(shù)據(jù)的數(shù)量、類型、數(shù)據(jù)發(fā)送協(xié)議；

采集單元42，用于根據(jù)所述接收單元41接收的所述數(shù)據(jù)采集指令采集待處理數(shù)據(jù)；

解析單元43，用于解析所述接收單元41接收的所述數(shù)據(jù)采集指令；

獲取單元44，用于在所述解析單元43解析所述數(shù)據(jù)采集指令之后，獲取所述待處理數(shù)據(jù)的所述配置信息；

處理單元45，用于基于所述獲取單元44獲取的所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理；其中，所述模塊化處理包括數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送。

進(jìn)一步的，如圖5所示，所述處理單元45包括：

獲取模塊451，用于獲取所述待處理數(shù)據(jù)；

處理模塊452，用于基于所述配置信息對(duì)所述獲取模塊451獲取的所述待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)格式化處理；

加入模塊453，用于將所述處理模塊452數(shù)據(jù)格式化處理后的所述待處理數(shù)據(jù)執(zhí)行加入數(shù)據(jù)發(fā)送隊(duì)列；

發(fā)送模塊454，用于將所述加入模塊453加入數(shù)據(jù)發(fā)送隊(duì)列中的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

進(jìn)一步的，所述處理模塊452，還用于根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理，所述預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式。

進(jìn)一步的，如圖5所示，所述處理單元45還包括：

確定模塊455，用于在所述發(fā)送模塊454將所述數(shù)據(jù)發(fā)送隊(duì)列中的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器之前，確定發(fā)送所述待處理數(shù)據(jù)的數(shù)據(jù)發(fā)送協(xié)議；

所述發(fā)送模塊454，還用于基于所述確定模塊455確定的所述數(shù)據(jù)發(fā)送 協(xié)議將所述數(shù)據(jù)發(fā)送隊(duì)列中的所述待處理數(shù)據(jù)發(fā)送至所述服務(wù)器。

進(jìn)一步的，在所述處理模塊452基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理時(shí)，執(zhí)行所述數(shù)據(jù)格式化、所述加入數(shù)據(jù)發(fā)送隊(duì)列及所述數(shù)據(jù)發(fā)送之間相互獨(dú)立。

本發(fā)明實(shí)施例提供的數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化裝置，根據(jù)數(shù)據(jù)采集指令采集待處理數(shù)據(jù)，該數(shù)據(jù)采集指令由服務(wù)器生成，且該數(shù)據(jù)采集指令包含有待處理數(shù)據(jù)的配置信息，解析該數(shù)據(jù)采集指令，并獲取待處理數(shù)據(jù)的配置信息，基于該配置信息對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，其中，該模塊化處理包括：數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù)發(fā)送；與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過數(shù)據(jù)采集指令中的配置信息，配置待處理數(shù)據(jù)，并基于該配置信息對(duì)待處理數(shù)據(jù)進(jìn)行模塊化處理，提高了基于一個(gè)數(shù)據(jù)采集平臺(tái)添加、修改及刪除數(shù)據(jù)采集指標(biāo)的靈活性。

所述數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的模塊化裝置包括處理器和存儲(chǔ)器，上述采集單元、解析單元、獲取單元和處理單元等均作為程序單元存儲(chǔ)在存儲(chǔ)器中，由處理器執(zhí)行存儲(chǔ)在存儲(chǔ)器中的上述程序單元來實(shí)現(xiàn)相應(yīng)的功能。

處理器中包含內(nèi)核，由內(nèi)核去存儲(chǔ)器中調(diào)取相應(yīng)的程序單元。內(nèi)核可以設(shè)置一個(gè)或以上，通過調(diào)整內(nèi)核參數(shù)來提高數(shù)據(jù)采集平臺(tái)中添加、修改及刪除數(shù)據(jù)采集指標(biāo)的靈活性。

存儲(chǔ)器可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(ROM)或閃存(flash

RAM)，存儲(chǔ)器包括至少一個(gè)存儲(chǔ)芯片。

本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)在數(shù)據(jù)處理設(shè)備上執(zhí)行時(shí)，適于執(zhí)行初始化有如下方法步驟的程序代碼：(根據(jù)數(shù)據(jù)采集指令采集待處理數(shù)據(jù)；其中，所述數(shù)據(jù)采集指令由服務(wù)器生成，且所述數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的配置信息，所述配置信息包含：采集待處理數(shù)據(jù)的數(shù)量、數(shù)據(jù)類型、數(shù)據(jù)發(fā)送協(xié)議；解析所述數(shù)據(jù)采集指令，并獲取所述待處理數(shù)據(jù)的所述配置信息；基于所述配置信息對(duì)所述待處理數(shù)據(jù)進(jìn)行模塊化處理；其中，所述模塊化處理包括數(shù)據(jù)格式化、加入數(shù)據(jù)發(fā)送隊(duì)列、數(shù)據(jù) 發(fā)送。在本發(fā)明的上述實(shí)施例中，對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒有詳述的部分，可以參見其他實(shí)施例的相關(guān)描述。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

在一個(gè)典型的配置中，計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(CPU)、輸入/ 輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

存儲(chǔ)器可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(ROM)或閃存(flashRAM)。存儲(chǔ)器是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號(hào)和載波。

還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括要素的過程、方法、商品或者設(shè)備中還存在另外的相同要素。

本領(lǐng)域技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

以上僅為本申請(qǐng)的實(shí)施例而已，并不用于限制本申請(qǐng)。對(duì)于本領(lǐng)域技術(shù)人員來說，本申請(qǐng)可以有各種更改和變化。凡在本申請(qǐng)的精神和原理之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請(qǐng)的權(quán)利要求范圍之內(nèi)。