本技術(shù)涉及數(shù)據(jù)存儲(chǔ)及分析,尤其涉及一種用戶的安全等級(jí)分析方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。
背景技術(shù):
1、近年來(lái),隨著通信網(wǎng)絡(luò)的普及和智能化設(shè)備的廣泛使用,催生了大量的用戶行為數(shù)據(jù),這些數(shù)據(jù)不僅包括用戶的通話記錄、流量消耗等基本信息,還包括用戶的行為習(xí)慣、偏好以及地理位置等多種維度的信息,所以對(duì)于新用戶入網(wǎng)數(shù)據(jù)的實(shí)時(shí)分析與處理變得尤為重要。
2、然而,在現(xiàn)有的研究和實(shí)踐中,大部分都集中在基于大數(shù)據(jù)的離線用戶畫(huà)像構(gòu)建上。這些方法通常依賴于歷史數(shù)據(jù)并通過(guò)離線算法來(lái)生成用戶畫(huà)像,而對(duì)于新用戶入網(wǎng)的數(shù)據(jù)處理及實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方面的工作還不夠完善。
3、目前的技術(shù)方案往往沒(méi)有涵蓋到使用doris數(shù)據(jù)庫(kù)來(lái)處理實(shí)時(shí)數(shù)據(jù)流,缺乏對(duì)實(shí)時(shí)數(shù)據(jù)流的支持,并且也沒(méi)有充分考慮如何利用多源異構(gòu)數(shù)據(jù)來(lái)豐富新入網(wǎng)用戶的畫(huà)像。因此,需要一種更實(shí)時(shí)、更方便快捷的用戶安全等級(jí)分析方法。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)提供一種用戶的安全等級(jí)分析方法、裝置、設(shè)備和存儲(chǔ)介質(zhì),用以解決現(xiàn)有的新入網(wǎng)用戶安全等級(jí)分析方法中存在的數(shù)據(jù)來(lái)源單一以及未構(gòu)建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)等方面的問(wèn)題。
2、第一方面,本技術(shù)提供一種用戶的安全等級(jí)分析方法,該方法包括:
3、實(shí)時(shí)獲取多名入網(wǎng)用戶的用戶數(shù)據(jù),所述用戶數(shù)據(jù)包括:業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù);
4、分別將所述業(yè)務(wù)數(shù)據(jù)和所述行為數(shù)據(jù)寫(xiě)入doris數(shù)據(jù)庫(kù),得到業(yè)務(wù)數(shù)據(jù)表和行為數(shù)據(jù)表,其中,所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表內(nèi)存儲(chǔ)的數(shù)據(jù)為熱數(shù)據(jù);
5、響應(yīng)于目標(biāo)用戶的安全等級(jí)分析請(qǐng)求,從所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表中確定與所述目標(biāo)用戶對(duì)應(yīng)的分析數(shù)據(jù);
6、基于所述分析數(shù)據(jù),確定所述目標(biāo)用戶的安全等級(jí)分析結(jié)果。
7、可選的,所述實(shí)時(shí)獲取多名入網(wǎng)用戶的用戶數(shù)據(jù),所述用戶數(shù)據(jù)包括:業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù),包括:
8、實(shí)時(shí)獲取多名入網(wǎng)用戶的業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù),所述行為數(shù)據(jù)包括:入網(wǎng)用戶的流量信令、入網(wǎng)用戶的位置信令、入網(wǎng)用戶的通話信令以及入網(wǎng)用戶的上網(wǎng)日志;
9、對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理,將處理后的數(shù)據(jù)作為業(yè)務(wù)數(shù)據(jù);
10、對(duì)所述入網(wǎng)用戶的流量信令、所述入網(wǎng)用戶的位置信令、所述入網(wǎng)用戶的通話信令以及所述入網(wǎng)用戶的上網(wǎng)日志進(jìn)行聚合處理,并將聚合的數(shù)據(jù)作為行為數(shù)據(jù)。
11、可選的,對(duì)所述入網(wǎng)用戶的流量信令、所述入網(wǎng)用戶的位置信令、所述入網(wǎng)用戶的通話信令以及所述入網(wǎng)用戶的上網(wǎng)日志進(jìn)行聚合處理,并將聚合的數(shù)據(jù)作為行為數(shù)據(jù),包括:
12、分別判斷同一入網(wǎng)用戶的所述流量信令、所述位置信令、所述通話信令以及所述上網(wǎng)日志的數(shù)據(jù)信息是否為空;
13、在所述流量信令、所述位置信令、所述通話信令以及所述上網(wǎng)日志的數(shù)據(jù)信息不為空的情況下,將所述不為空的數(shù)據(jù)信息進(jìn)行替換處理,得到新入網(wǎng)用戶的流量信令、新入網(wǎng)用戶的位置信令、新入網(wǎng)用戶的通話信令以及新入網(wǎng)用戶的上網(wǎng)日志;
14、將所述新入網(wǎng)用戶的流量信令、所述新入網(wǎng)用戶的位置信令、所述新入網(wǎng)用戶的通話信令以及所述新入網(wǎng)用戶的上網(wǎng)日志通過(guò)doris聚合模型進(jìn)行聚合處理,得到聚合后的數(shù)據(jù),并將所述聚合后的數(shù)據(jù)作為行為數(shù)據(jù)。
15、可選的,所述分別將所述業(yè)務(wù)數(shù)據(jù)和所述行為數(shù)據(jù)寫(xiě)入doris數(shù)據(jù)庫(kù),得到業(yè)務(wù)數(shù)據(jù)表和行為數(shù)據(jù)表,其中,所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表內(nèi)存儲(chǔ)的數(shù)據(jù)為熱數(shù)據(jù),包括:
16、通過(guò)paimon標(biāo)簽表,將所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)充處理,并基于補(bǔ)充后的業(yè)務(wù)數(shù)據(jù)和所述行為數(shù)據(jù),按照預(yù)設(shè)存儲(chǔ)策略寫(xiě)入doris數(shù)據(jù)庫(kù),得到所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表,其中,所述預(yù)設(shè)存儲(chǔ)策略為冷熱數(shù)據(jù)分層處理。
17、將所述行為數(shù)據(jù)按照預(yù)設(shè)存儲(chǔ)策略寫(xiě)入doris數(shù)據(jù)庫(kù),得到所述行為數(shù)據(jù)表,其中,所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表內(nèi)存儲(chǔ)的數(shù)據(jù)為熱數(shù)據(jù),所述冷數(shù)據(jù)用于表示訪問(wèn)頻率低的數(shù)據(jù),所述熱數(shù)據(jù)用于表示訪問(wèn)頻率高的數(shù)據(jù)。
18、可選的,所述業(yè)務(wù)數(shù)據(jù)表包括:第一手機(jī)號(hào),所述行為數(shù)據(jù)表包括:第二手機(jī)號(hào),所述響應(yīng)于目標(biāo)用戶的安全等級(jí)分析請(qǐng)求,從所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表中確定與所述目標(biāo)用戶對(duì)應(yīng)的分析數(shù)據(jù),包括:
19、根據(jù)目標(biāo)用戶的安全等級(jí)分析請(qǐng)求,判斷所述目標(biāo)用戶對(duì)應(yīng)的目標(biāo)手機(jī)號(hào)是否與所述第一手機(jī)號(hào)和所述第二手機(jī)號(hào)相同;
20、在所述第一手機(jī)號(hào)和所述第二手機(jī)號(hào)與所述目標(biāo)手機(jī)號(hào)相同的情況下,將所述第一手機(jī)號(hào)和所述第二手機(jī)號(hào)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)作為所述分析數(shù)據(jù)。
21、可選的,所述分析數(shù)據(jù)包括:目標(biāo)用戶的信用度、目標(biāo)用戶一周內(nèi)wifi和流量數(shù)據(jù)使用量、目標(biāo)用戶一周內(nèi)app的活躍度、目標(biāo)用戶的位置在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)漂移的距離和次數(shù)、目標(biāo)用戶撥打同一號(hào)碼的次數(shù)和通話時(shí)長(zhǎng)以及所述目標(biāo)用戶的證件類型和對(duì)應(yīng)的證件號(hào)碼,所述基于所述分析數(shù)據(jù),確定所述目標(biāo)用戶的安全等級(jí)分析結(jié)果,包括:
22、基于所述分析數(shù)據(jù),確定預(yù)設(shè)基準(zhǔn)值,并根據(jù)所述分析數(shù)據(jù)和所述預(yù)設(shè)基準(zhǔn)值確定所述目標(biāo)用戶的安全等級(jí)分析策略,所述預(yù)設(shè)基準(zhǔn)值包括:預(yù)設(shè)分?jǐn)?shù)、預(yù)設(shè)流量值、預(yù)設(shè)活躍值、預(yù)設(shè)時(shí)長(zhǎng)、預(yù)設(shè)距離、預(yù)設(shè)次數(shù)、預(yù)設(shè)通話次數(shù)以及預(yù)設(shè)通話時(shí)長(zhǎng);
23、根據(jù)所述安全等級(jí)分析策略,確定所述目標(biāo)用戶的安全等級(jí)分析結(jié)果。
24、可選的,所述安全等級(jí)分析策略,包括:
25、判斷所述目標(biāo)用戶的信用度是否低于所述預(yù)設(shè)分?jǐn)?shù);
26、判斷所述目標(biāo)用戶一周內(nèi)wifi和流量數(shù)據(jù)使用量是否低于所述預(yù)設(shè)流量值;
27、判斷所述目標(biāo)用戶一周內(nèi)app的活躍度是否低于所述預(yù)設(shè)活躍值;
28、判斷所述目標(biāo)用戶的位置在所述預(yù)設(shè)時(shí)長(zhǎng)內(nèi)漂移的距離是否大于預(yù)設(shè)距離且次數(shù)是否超過(guò)預(yù)設(shè)次數(shù);
29、判斷所述目標(biāo)用戶撥打同一號(hào)碼的次數(shù)是否高于預(yù)設(shè)次數(shù)且接通后通話時(shí)長(zhǎng)是否低于預(yù)設(shè)時(shí)長(zhǎng);
30、判斷所述目標(biāo)用戶的證件類型和對(duì)應(yīng)證件號(hào)碼是否錯(cuò)誤。
31、第二方面,本技術(shù)提供一種用戶的安全等級(jí)分析裝置,該裝置包括:
32、獲取模塊,用于實(shí)時(shí)獲取多名入網(wǎng)用戶的用戶數(shù)據(jù),所述用戶數(shù)據(jù)包括:業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù);
33、處理模塊,用于分別將所述業(yè)務(wù)數(shù)據(jù)和所述行為數(shù)據(jù)寫(xiě)入doris數(shù)據(jù)庫(kù),得到業(yè)務(wù)數(shù)據(jù)表和行為數(shù)據(jù)表,其中,所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表內(nèi)存儲(chǔ)的數(shù)據(jù)為熱數(shù)據(jù);
34、確定模塊,用于響應(yīng)于目標(biāo)用戶的安全等級(jí)分析請(qǐng)求,從所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表中確定與所述目標(biāo)用戶對(duì)應(yīng)的分析數(shù)據(jù);基于所述分析數(shù)據(jù),確定所述目標(biāo)用戶的安全等級(jí)分析結(jié)果。
35、可選的,所述獲取模塊,還用于實(shí)時(shí)獲取多名入網(wǎng)用戶的業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù),所述行為數(shù)據(jù)包括:入網(wǎng)用戶的流量信令、入網(wǎng)用戶的位置信令、入網(wǎng)用戶的通話信令以及入網(wǎng)用戶的上網(wǎng)日志;
36、所述處理模塊,還用于對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理,將處理后的數(shù)據(jù)作為業(yè)務(wù)數(shù)據(jù);對(duì)所述入網(wǎng)用戶的流量信令、所述入網(wǎng)用戶的位置信令、所述入網(wǎng)用戶的通話信令以及所述入網(wǎng)用戶的上網(wǎng)日志進(jìn)行聚合處理,并將聚合的數(shù)據(jù)作為行為數(shù)據(jù)。
37、可選的,所述裝置還包括:判斷模塊;
38、所述判斷模塊,用于分別判斷同一入網(wǎng)用戶的所述流量信令、所述位置信令、所述通話信令以及所述上網(wǎng)日志的數(shù)據(jù)信息是否為空;
39、所述處理模塊,還用于在所述流量信令、所述位置信令、所述通話信令以及所述上網(wǎng)日志的數(shù)據(jù)信息不為空的情況下,將所述不為空的數(shù)據(jù)信息進(jìn)行替換處理,得到新入網(wǎng)用戶的流量信令、新入網(wǎng)用戶的位置信令、新入網(wǎng)用戶的通話信令以及新入網(wǎng)用戶的上網(wǎng)日志;將所述新入網(wǎng)用戶的流量信令、所述新入網(wǎng)用戶的位置信令、所述新入網(wǎng)用戶的通話信令以及所述新入網(wǎng)用戶的上網(wǎng)日志通過(guò)doris聚合模型進(jìn)行聚合處理,得到聚合后的數(shù)據(jù),并將所述聚合后的數(shù)據(jù)作為行為數(shù)據(jù)。
40、可選的,所述處理模塊,還用于通過(guò)paimon標(biāo)簽表,將所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)充處理,并基于補(bǔ)充后的業(yè)務(wù)數(shù)據(jù)和所述行為數(shù)據(jù),按照預(yù)設(shè)存儲(chǔ)策略寫(xiě)入doris數(shù)據(jù)庫(kù),得到所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表,其中,所述預(yù)設(shè)存儲(chǔ)策略為冷熱數(shù)據(jù)分層處理;將所述行為數(shù)據(jù)按照預(yù)設(shè)存儲(chǔ)策略寫(xiě)入doris數(shù)據(jù)庫(kù),得到所述行為數(shù)據(jù)表,其中,所述業(yè)務(wù)數(shù)據(jù)表和所述行為數(shù)據(jù)表內(nèi)存儲(chǔ)的數(shù)據(jù)為熱數(shù)據(jù),所述冷數(shù)據(jù)用于表示訪問(wèn)頻率低的數(shù)據(jù),所述熱數(shù)據(jù)用于表示訪問(wèn)頻率高的數(shù)據(jù)。
41、可選的,所述判斷模塊,還用于根據(jù)目標(biāo)用戶的安全等級(jí)分析請(qǐng)求,判斷所述目標(biāo)用戶對(duì)應(yīng)的目標(biāo)手機(jī)號(hào)是否與所述第一手機(jī)號(hào)和所述第二手機(jī)號(hào)相同;
42、所述處理模塊,還用于在所述第一手機(jī)號(hào)和所述第二手機(jī)號(hào)與所述目標(biāo)手機(jī)號(hào)相同的情況下,將所述第一手機(jī)號(hào)和所述第二手機(jī)號(hào)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)作為所述分析數(shù)據(jù)。
43、可選的,所述確定模塊,還用于基于所述分析數(shù)據(jù),確定預(yù)設(shè)基準(zhǔn)值,并根據(jù)所述分析數(shù)據(jù)和所述預(yù)設(shè)基準(zhǔn)值確定所述目標(biāo)用戶的安全等級(jí)分析策略,所述預(yù)設(shè)基準(zhǔn)值包括:預(yù)設(shè)分?jǐn)?shù)、預(yù)設(shè)流量值、預(yù)設(shè)活躍值、預(yù)設(shè)時(shí)長(zhǎng)、預(yù)設(shè)距離、預(yù)設(shè)次數(shù)、預(yù)設(shè)通話次數(shù)以及預(yù)設(shè)通話時(shí)長(zhǎng),所述分析數(shù)據(jù)包括:目標(biāo)用戶的信用度、目標(biāo)用戶一周內(nèi)wifi和流量數(shù)據(jù)使用量、目標(biāo)用戶一周內(nèi)app的活躍度、目標(biāo)用戶的位置在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)漂移的距離和次數(shù)、目標(biāo)用戶撥打同一號(hào)碼的次數(shù)和通話時(shí)長(zhǎng)以及所述目標(biāo)用戶的證件類型和對(duì)應(yīng)的證件號(hào)碼;根據(jù)所述安全等級(jí)分析策略,確定所述目標(biāo)用戶的安全等級(jí)分析結(jié)果。
44、可選的,所述判斷模塊,還用于判斷所述目標(biāo)用戶的信用度是否低于所述預(yù)設(shè)分?jǐn)?shù);判斷所述目標(biāo)用戶一周內(nèi)wifi和流量數(shù)據(jù)使用量是否低于所述預(yù)設(shè)流量值;判斷所述目標(biāo)用戶一周內(nèi)app的活躍度是否低于所述預(yù)設(shè)活躍值;判斷所述目標(biāo)用戶的位置在所述預(yù)設(shè)時(shí)長(zhǎng)內(nèi)漂移的距離是否大于預(yù)設(shè)距離且次數(shù)是否超過(guò)預(yù)設(shè)次數(shù);判斷所述目標(biāo)用戶撥打同一號(hào)碼的次數(shù)是否高于預(yù)設(shè)次數(shù)且接通后通話時(shí)長(zhǎng)是否低于預(yù)設(shè)時(shí)長(zhǎng);判斷所述目標(biāo)用戶的證件類型和對(duì)應(yīng)證件號(hào)碼是否錯(cuò)誤。
45、第三方面,本技術(shù)提供一種用戶的安全等級(jí)分析設(shè)備,包括:
46、存儲(chǔ)器;
47、處理器;
48、其中,所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令;
49、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令,以實(shí)現(xiàn)如上述第一方面和第一方面各種可能的實(shí)現(xiàn)方式所述的用戶的安全等級(jí)分析方法。
50、第四方面,本技術(shù)提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)如上述第一方面及第一方面各種可能的實(shí)現(xiàn)方式所述的用戶的安全等級(jí)分析方法。
51、本技術(shù)提供了一種用戶的安全等級(jí)分析方法,通過(guò)實(shí)時(shí)獲取多名入網(wǎng)用戶的用戶數(shù)據(jù),并分別寫(xiě)入doris數(shù)據(jù)庫(kù)中,得出兩個(gè)doris表,也即業(yè)務(wù)數(shù)據(jù)表和行為數(shù)據(jù)表,然后對(duì)這兩個(gè)表進(jìn)行關(guān)聯(lián)查詢,結(jié)合預(yù)設(shè)的安全等級(jí)分析策略,確定多名入網(wǎng)用戶的安全等級(jí)。該方法實(shí)現(xiàn)了對(duì)用戶活動(dòng)的實(shí)時(shí)監(jiān)控與風(fēng)險(xiǎn)評(píng)估,有效提升了整體的安全性和用戶體驗(yàn),增強(qiáng)了系統(tǒng)的可靠性和穩(wěn)定性。