數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002]隨著在線社會(huì)網(wǎng)絡(luò)如社交網(wǎng)站、微博、在線社區(qū)等的快速發(fā)展，一個(gè)真正的雙向傳播和新媒體時(shí)代逐步形成。在線社會(huì)網(wǎng)絡(luò)讓每個(gè)用戶都能創(chuàng)造自己的內(nèi)容，并且快速傳播出去。據(jù)不完全統(tǒng)計(jì)，國(guó)內(nèi)大型微博網(wǎng)站平均每秒有超過3000條的新數(shù)據(jù)產(chǎn)生。
[0003]在如此規(guī)模的數(shù)據(jù)基礎(chǔ)上，在線社會(huì)網(wǎng)絡(luò)管理者如何快速準(zhǔn)確地獲取用戶活躍度成為亟待解決的問題。對(duì)此，現(xiàn)有技術(shù)中，還沒有能夠準(zhǔn)確快捷地獲取用戶活躍度的方案。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供一種數(shù)據(jù)處理方法及裝置，用于解決現(xiàn)有技術(shù)無法準(zhǔn)確快捷地獲取用戶活躍度的問題。
[0005]本發(fā)明的第一個(gè)方面是提供一種數(shù)據(jù)處理方法，包括:
[0006]接收請(qǐng)求設(shè)備發(fā)送的處理請(qǐng)求，所述處理請(qǐng)求包括目標(biāo)網(wǎng)站的標(biāo)識(shí)；
[0007]根據(jù)采集到的歷史原始數(shù)據(jù)，獲得用戶在預(yù)設(shè)的目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的平均數(shù)量，所述歷史原始數(shù)據(jù)包括各用戶在各網(wǎng)站中發(fā)布的信息；
[0008]針對(duì)每個(gè)所述類型對(duì)應(yīng)的信息的平均數(shù)量，計(jì)算其與所述類型對(duì)應(yīng)的預(yù)設(shè)權(quán)值的乘積，其中，所述各類型對(duì)應(yīng)的權(quán)值之和為I ;
[0009]計(jì)算所述各類型對(duì)應(yīng)的乘積之和，獲得所述用戶在所述目標(biāo)時(shí)間范圍內(nèi)相對(duì)于所述目標(biāo)網(wǎng)站的用戶活躍度；
[0010]向所述請(qǐng)求設(shè)備發(fā)送處理結(jié)果，所述處理結(jié)果包括所述用戶活躍度。
[0011]本發(fā)明的另一個(gè)方面是提供一種數(shù)據(jù)處理裝置，包括:
[0012]接收模塊，用于接收請(qǐng)求設(shè)備發(fā)送的處理請(qǐng)求，所述處理請(qǐng)求包括目標(biāo)網(wǎng)站的標(biāo)識(shí)；
[0013]獲取模塊，用于根據(jù)采集到的歷史原始數(shù)據(jù)，獲得用戶在預(yù)設(shè)的目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的平均數(shù)量，所述歷史原始數(shù)據(jù)包括各用戶在各網(wǎng)站中發(fā)布的信息；
[0014]處理模塊，用于針對(duì)每個(gè)所述類型對(duì)應(yīng)的信息的平均數(shù)量，計(jì)算其與所述類型對(duì)應(yīng)的預(yù)設(shè)權(quán)值的乘積，其中，所述各類型對(duì)應(yīng)的權(quán)值之和為I;
[0015]所述處理模塊，還用于計(jì)算所述各類型對(duì)應(yīng)的乘積之和，獲得所述用戶在所述目標(biāo)時(shí)間范圍內(nèi)相對(duì)于所述目標(biāo)網(wǎng)站的用戶活躍度；
[0016]發(fā)送模塊，用于向所述請(qǐng)求設(shè)備發(fā)送處理結(jié)果，所述處理結(jié)果包括所述用戶活躍度。
[0017]本發(fā)明提供的數(shù)據(jù)處理方法及裝置，根據(jù)集到的歷史原始數(shù)據(jù)，獲得目標(biāo)用戶在預(yù)設(shè)的目標(biāo)時(shí)間范圍內(nèi)，在預(yù)設(shè)的目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的平均數(shù)量，進(jìn)而基于各類型對(duì)應(yīng)的權(quán)值，獲得目標(biāo)用戶在所述目標(biāo)時(shí)間范圍內(nèi)相對(duì)于該目標(biāo)網(wǎng)站的用戶活躍度，實(shí)現(xiàn)準(zhǔn)確快捷地獲取用戶的用戶活躍度。
【附圖說明】
[0018]圖1為本發(fā)明實(shí)施例一提供的一種數(shù)據(jù)處理方法的流程示意圖；
[0019]圖2為本發(fā)明實(shí)施例二提供的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0020]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。
[0021]圖1為本發(fā)明實(shí)施例一提供的一種數(shù)據(jù)處理方法的流程示意圖，如圖1所示，所述方法包括:
[0022]101、接收請(qǐng)求設(shè)備發(fā)送的處理請(qǐng)求，所述處理請(qǐng)求包括目標(biāo)網(wǎng)站的標(biāo)識(shí)。
[0023]其中，網(wǎng)站具體可以為各微博網(wǎng)站，例如，新浪微博、騰訊微博等，具體的，網(wǎng)站的標(biāo)識(shí)可以采用服務(wù)配置文件標(biāo)識(shí)符(Service Profile Identifier,簡(jiǎn)稱spID)標(biāo)識(shí)。
[0024]102、根據(jù)采集到的歷史原始數(shù)據(jù)，獲得用戶在預(yù)設(shè)的目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的平均數(shù)量，所述歷史原始數(shù)據(jù)包括各用戶在各網(wǎng)站中發(fā)布的信息。
[0025]在實(shí)際應(yīng)用中，可以以大規(guī)模的社交網(wǎng)絡(luò)信息為基礎(chǔ)，通過對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行設(shè)計(jì)，利用分布式架構(gòu)存儲(chǔ)并壓縮，獲得所述歷史原始數(shù)據(jù)。具體的，所述社交網(wǎng)絡(luò)信息可以包括發(fā)布時(shí)間、網(wǎng)站、發(fā)布信息的類型和用戶的標(biāo)識(shí)等。其中，所述類型可以包括多種情形，例如，原創(chuàng)、轉(zhuǎn)發(fā)、評(píng)論及分享等。
[0026]進(jìn)一步的，在本實(shí)施例的數(shù)據(jù)處理過程中，為了能夠快速讀取所述歷史原始數(shù)據(jù)，可以將所述社交網(wǎng)絡(luò)信息中的信息拼接起來，并在各信息之間使用“#”分隔。具體的，所述用戶的標(biāo)識(shí)可以采用用戶代碼(usercode)標(biāo)識(shí)，所述類型的標(biāo)識(shí)可以采用assetType標(biāo)識(shí)，發(fā)布時(shí)間的標(biāo)識(shí)可以采用date標(biāo)識(shí)。舉例來說，最后存儲(chǔ)的歷史原始數(shù)據(jù)的形式可以為:發(fā)布時(shí)間#網(wǎng)站標(biāo)識(shí)#類型標(biāo)識(shí)#用戶的標(biāo)識(shí)，即date#spID#assetType#usercode。例如，假設(shè)用戶A的用戶在時(shí)刻B時(shí)，在網(wǎng)站C中發(fā)布了類型為D的信息，則該信息對(duì)應(yīng)的歷史原始數(shù)據(jù)可以為B#cmm。
[0027]進(jìn)一步的，為了節(jié)約存儲(chǔ)空間和傳輸帶寬，在存儲(chǔ)之前可以對(duì)拼接后獲得的數(shù)據(jù)進(jìn)行壓縮，具體的，可以采用壓縮比和傳輸速度較快的Lempel-Ziv-Oberhumer,簡(jiǎn)稱LZO壓縮算法進(jìn)行壓縮。
[0028]具體的，在本實(shí)施例中所述信息的平均數(shù)量，可以為單位時(shí)長(zhǎng)內(nèi)的信息數(shù)量，則相應(yīng)的，102可以包括:
[0029]根據(jù)所述歷史原始數(shù)據(jù)，獲得所述用戶在所述目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的數(shù)量；
[0030]分別將所述各類型對(duì)應(yīng)的信息的數(shù)量除以所述目標(biāo)時(shí)間范圍對(duì)應(yīng)的時(shí)長(zhǎng)，獲得用戶在所述目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的平均數(shù)量。
[0031]其中，所述目標(biāo)時(shí)間范圍對(duì)應(yīng)的時(shí)長(zhǎng)為所述目標(biāo)時(shí)間范圍內(nèi)單位時(shí)長(zhǎng)的個(gè)數(shù)。具體的，所述單位時(shí)長(zhǎng)可以預(yù)先設(shè)定。需要說明的是，對(duì)于不同的單位時(shí)長(zhǎng)，計(jì)算出的信息的平均數(shù)量也會(huì)不同，具體舉例來說，假設(shè)某用戶在最近一周內(nèi)，在某網(wǎng)站中發(fā)布的某類型的信息的數(shù)量為70,則若以一天為單位時(shí)長(zhǎng),則所述目標(biāo)時(shí)間范圍對(duì)應(yīng)的時(shí)長(zhǎng)為7/1=7,相應(yīng)的所述信息的平均數(shù)量為70/7=10 ;而若直接以一周為單位時(shí)長(zhǎng)，則所述目標(biāo)時(shí)間范圍對(duì)應(yīng)的時(shí)長(zhǎng)為7/7=1，相應(yīng)的所述信息的平均數(shù)量為70/1=70。
[0032]再具體的，在實(shí)際應(yīng)用中，獲得所述用戶在所述目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的數(shù)量的具體流程可以包括:
[0033]根據(jù)預(yù)設(shè)的目標(biāo)時(shí)間范圍，獲得在該目標(biāo)時(shí)間范圍內(nèi)各用戶在各網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息，其數(shù)據(jù)格式為:spID#assetType#usercode ；
[0034]通過對(duì)上述數(shù)據(jù)進(jìn)行降維處理，獲得所述目標(biāo)用戶在所述目標(biāo)時(shí)間范圍內(nèi)，在所述目標(biāo)網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息的數(shù)量，其數(shù)據(jù)格式為spID#assetType#usercodenurn。
[0035]具體的,可以利用格式(key, value)進(jìn)行降維處理,其中的value值為key值出現(xiàn)的次數(shù)。進(jìn)一步的，為了更加直觀的理解本實(shí)施例的方案，現(xiàn)通過以下舉例進(jìn)行說明，需要說明的是，以下舉例只是一種具體的實(shí)施方式，其并未對(duì)本實(shí)施例的其它實(shí)施方式進(jìn)行限制。
[0036]假設(shè)當(dāng)前需要統(tǒng)計(jì)在所述目標(biāo)時(shí)間范圍內(nèi)，用戶A在網(wǎng)站C中發(fā)布的類型為D的信息的數(shù)量，則可以將C#D#A作為key值，查詢?cè)谒瞿繕?biāo)時(shí)間范圍內(nèi)各用戶在各網(wǎng)站中發(fā)布的各類型對(duì)應(yīng)的信息。具體的，經(jīng)過上述操作，輸出數(shù)據(jù)的格式為C#D#A[1，1，...]，其中，當(dāng)key值每出現(xiàn)一次，則在[1，1，...]中記一個(gè)“I”。查詢完畢后，統(tǒng)計(jì)“ I”的個(gè)數(shù)，即將key值出現(xiàn)的次數(shù)進(jìn)行求和計(jì)算，獲得value值，也就是用戶A在所述目標(biāo)時(shí)間范圍內(nèi)在網(wǎng)站C中，發(fā)布的類型為D的信息的數(shù)量。進(jìn)一步的，輸出的結(jié)果數(shù)據(jù)為C#D#A num，其中，num為value 值。
[0037]103、針對(duì)每個(gè)所述類型對(duì)應(yīng)的信息的平均數(shù)量，計(jì)算其與所述類型對(duì)應(yīng)的預(yù)設(shè)權(quán)值的乘積，其中，所述各類型對(duì)應(yīng)的權(quán)值之和為I。
[0038]具體的，不同類型的信息對(duì)于用戶活躍度的貢獻(xiàn)存在差異性，例如，原創(chuàng)、轉(zhuǎn)發(fā)和評(píng)論類型中，原創(chuàng)類型的信息更能反映用戶活躍度。因此，可以根據(jù)不同類型對(duì)用戶活躍度的影響，設(shè)定不同類型對(duì)應(yīng)的權(quán)值。例如，假設(shè)所述類型包括原創(chuàng)、轉(zhuǎn)發(fā)和評(píng)論類型，原創(chuàng)類型對(duì)應(yīng)的權(quán)值為0.7，轉(zhuǎn)發(fā)類型對(duì)應(yīng)的權(quán)值為0.2，評(píng)論類型對(duì)應(yīng)的權(quán)值為0.1。則相應(yīng)的，假設(shè)用戶在所述目標(biāo)時(shí)間范圍內(nèi)在所述目標(biāo)網(wǎng)站中發(fā)布的原創(chuàng)、轉(zhuǎn)發(fā)和評(píng)論類型對(duì)應(yīng)的信息的平均數(shù)量分別為30，20，10，則原創(chuàng)類型對(duì)應(yīng)的乘積為0.7X30=21，轉(zhuǎn)發(fā)類型對(duì)應(yīng)的乘積為0.2 X 20=4，評(píng)論類型對(duì)應(yīng)的乘積為0.1 X 10=1。
[0039]104、計(jì)算所述各類型對(duì)應(yīng)的乘積之和，獲得所述用戶在所述目標(biāo)時(shí)間范圍內(nèi)相對(duì)于所述目標(biāo)網(wǎng)站的用戶活躍度。
[0040]具體的，在上述舉例中，所述用戶在所述目標(biāo)時(shí)間范圍