用于快速引入業(yè)務(wù)數(shù)據(jù)的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及數(shù)據(jù)引入領(lǐng)域，具體涉及一種快速引入業(yè)務(wù)數(shù)據(jù)的方法。本申請(qǐng)同時(shí) 提供一種用于快速引入業(yè)務(wù)數(shù)據(jù)的裝置。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)源日益增多，進(jìn)入了數(shù)據(jù)急劇膨脹的大數(shù)據(jù) 時(shí)代，同時(shí)基于這些大數(shù)據(jù)的業(yè)務(wù)也越來越多，例如：網(wǎng)絡(luò)金融、網(wǎng)絡(luò)購物、社交媒體、支付 寶業(yè)務(wù)、電子商務(wù)、即時(shí)通訊等業(yè)務(wù)層出不窮，而且隨著網(wǎng)絡(luò)技術(shù)的日新月異和用戶需求的 變化，原有業(yè)務(wù)又不斷衍生出若干個(gè)新的業(yè)務(wù)，從而為網(wǎng)絡(luò)用戶提供全方位的、高質(zhì)量的服 務(wù)。
[0003] 隨著互聯(lián)網(wǎng)業(yè)務(wù)的日益增多，對(duì)各種業(yè)務(wù)數(shù)據(jù)進(jìn)行監(jiān)控和統(tǒng)計(jì)分析的需求也應(yīng)運(yùn) 而生。一方面，為了使各種業(yè)務(wù)能夠更好地、更安全地為用戶服務(wù)，出現(xiàn)了與業(yè)務(wù)相關(guān)的風(fēng) 險(xiǎn)監(jiān)控管理應(yīng)用；另一方面，為了針對(duì)大數(shù)據(jù)進(jìn)行復(fù)雜的數(shù)據(jù)挖掘和預(yù)測(cè)性分析，洞察大數(shù) 據(jù)內(nèi)部潛在的價(jià)值，從而提供有廣闊前景的新產(chǎn)品或服務(wù)，出現(xiàn)了很多與分析業(yè)務(wù)數(shù)據(jù)相 關(guān)的應(yīng)用，例如：分析用戶的購買行為、網(wǎng)站流量統(tǒng)計(jì)、IP來源信息統(tǒng)計(jì)、搜索關(guān)鍵詞分析 等應(yīng)用。
[0004] 上述各種應(yīng)用系統(tǒng)或應(yīng)用程序的功能，都是基于對(duì)相關(guān)業(yè)務(wù)數(shù)據(jù)的分析或監(jiān)控才 能實(shí)現(xiàn)。為了不影響用戶對(duì)業(yè)務(wù)數(shù)據(jù)的訪問，也為了簡(jiǎn)化對(duì)業(yè)務(wù)數(shù)據(jù)的訪問控制，每開發(fā)一 種新的應(yīng)用系統(tǒng)或應(yīng)用程序，通常需要將業(yè)務(wù)數(shù)據(jù)引入到應(yīng)用系統(tǒng)或應(yīng)用程序的內(nèi)部。傳 統(tǒng)的數(shù)據(jù)引入方式包括下述步驟：需求分析、系統(tǒng)設(shè)計(jì)、數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)、硬編碼工作，測(cè) 試、發(fā)布上線、業(yè)務(wù)應(yīng)用等。整個(gè)過程需要花費(fèi)一定的人力、物力、時(shí)間。
[0005] 在數(shù)據(jù)量小，并且應(yīng)用系統(tǒng)或應(yīng)用程序有限的情況下，傳統(tǒng)方法是可行的，但是隨 著大數(shù)據(jù)時(shí)代的到來，業(yè)務(wù)數(shù)據(jù)越來越多，與業(yè)務(wù)相關(guān)的應(yīng)用系統(tǒng)或應(yīng)用程序也越來越多， 需要將各種業(yè)務(wù)數(shù)據(jù)引入到各種各樣的應(yīng)用中，傳統(tǒng)的引入方法就無法勝任了。
[0006] 以支付寶業(yè)務(wù)的風(fēng)險(xiǎn)控制管理核心監(jiān)控系統(tǒng)為例，該應(yīng)用系統(tǒng)用于對(duì)盜用、欺詐、 盜卡等風(fēng)險(xiǎn)進(jìn)行各種監(jiān)控，避免出現(xiàn)因?yàn)檫@些風(fēng)險(xiǎn)導(dǎo)致的資金損失，從而保障客戶資金以 及交易安全。一方面，隨著支付寶新業(yè)務(wù)的不斷增加，需要引入到風(fēng)險(xiǎn)控制管理核心監(jiān)控系 統(tǒng)中的業(yè)務(wù)數(shù)據(jù)越來越多；另一方面，各種各樣的業(yè)務(wù)數(shù)據(jù)除了要引入到該風(fēng)險(xiǎn)控制管理 核心監(jiān)控系統(tǒng)外，可能還需要引入到新開發(fā)的對(duì)支付寶業(yè)務(wù)數(shù)據(jù)進(jìn)行分析管理的其他應(yīng)用 系統(tǒng)或應(yīng)用程序中。那么如果采用傳統(tǒng)的數(shù)據(jù)引入過程，每個(gè)應(yīng)用系統(tǒng)或應(yīng)用程序每引入 一次新的業(yè)務(wù)數(shù)據(jù)，就要重復(fù)一次上述的各個(gè)開發(fā)步驟，要花費(fèi)大量的人力、物力、時(shí)間，不 僅是對(duì)軟件開發(fā)資源的浪費(fèi)，而且后期系統(tǒng)的維護(hù)成本也會(huì)不斷上升，導(dǎo)致整個(gè)軟件開發(fā) 階段和維護(hù)階段的效率低下。

【發(fā)明內(nèi)容】

[0007] 本申請(qǐng)?zhí)峁┮环N用于快速引入業(yè)務(wù)數(shù)據(jù)的方法，以解決現(xiàn)有方法引入業(yè)務(wù)數(shù)據(jù)效 率低下的問題。
[0008] 本申請(qǐng)同時(shí)提供一種用于快速引入業(yè)務(wù)數(shù)據(jù)的裝置。
[0009] 本申請(qǐng)?zhí)峁┮环N用于快速引入業(yè)務(wù)數(shù)據(jù)的方法，包括如下步驟：
[0010] 接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)；
[0011] 根據(jù)約定格式從所述業(yè)務(wù)數(shù)據(jù)中獲取反映業(yè)務(wù)屬性的數(shù)據(jù)信息；
[0012] 將獲取的所有數(shù)據(jù)信息存儲(chǔ)在采用key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng)中。
[0013] 可選的，在所述接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)的步驟之前，向所述業(yè)務(wù)發(fā)出 針對(duì)所述業(yè)務(wù)數(shù)據(jù)的訂閱申請(qǐng)，并約定傳輸所述業(yè)務(wù)數(shù)據(jù)采用的封裝格式。
[0014] 可選的，在所述接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)的步驟之前，創(chuàng)建與所述業(yè)務(wù) 數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)定義；
[0015] 相應(yīng)的，所述接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)包括：
[0016] 判斷是否存在與當(dāng)前要接收的業(yè)務(wù)數(shù)據(jù)相對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)定義；
[0017] 若是，接收所述業(yè)務(wù)數(shù)據(jù)；若否，放棄接收所述業(yè)務(wù)數(shù)據(jù)。
[0018] 可選的，所述業(yè)務(wù)數(shù)據(jù)定義包括：唯一標(biāo)識(shí)所述業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)標(biāo)識(shí)碼和與 之對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)屬性定義；所述業(yè)務(wù)數(shù)據(jù)屬性定義包括：業(yè)務(wù)數(shù)據(jù)所包含的每個(gè)數(shù)據(jù)的 名稱、獲取其值的方法和該數(shù)據(jù)是否具備主鍵數(shù)據(jù)的屬性。
[0019] 可選的，在所述接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)之前，根據(jù)所述業(yè)務(wù)數(shù)據(jù)屬性 定義，判斷是否需要計(jì)算衍生數(shù)據(jù)；若是，生成衍生數(shù)據(jù)配置，在所述配置中指定需要計(jì)算 的衍生數(shù)據(jù)及其計(jì)算方法；
[0020] 相應(yīng)的，所述根據(jù)約定格式從所述業(yè)務(wù)數(shù)據(jù)中獲取反映業(yè)務(wù)屬性的數(shù)據(jù)信息的步 驟，具體包括：
[0021] 根據(jù)約定格式從所述業(yè)務(wù)數(shù)據(jù)中獲取反映業(yè)務(wù)屬性的數(shù)據(jù)信息，作為基礎(chǔ)數(shù)據(jù)；
[0022] 判斷是否存在衍生數(shù)據(jù)配置；
[0023] 若是，根據(jù)所述基礎(chǔ)數(shù)據(jù)和所述存儲(chǔ)系統(tǒng)中存儲(chǔ)的與所述業(yè)務(wù)數(shù)據(jù)相關(guān)的歷史累 計(jì)數(shù)據(jù)，針對(duì)所述衍生數(shù)據(jù)配置中的每一個(gè)衍生數(shù)據(jù)，采用所述衍生數(shù)據(jù)配置中與所述衍 生數(shù)據(jù)對(duì)應(yīng)的計(jì)算方法，計(jì)算所述衍生數(shù)據(jù)；
[0024] 相應(yīng)的，所述將獲取的所有數(shù)據(jù)存儲(chǔ)在采用key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng)中是指：
[0025] 如果在所述根據(jù)約定格式從所述業(yè)務(wù)數(shù)據(jù)中逐一獲取反映業(yè)務(wù)屬性的數(shù)據(jù)信息 的步驟中，計(jì)算了衍生數(shù)據(jù)，則將所述基礎(chǔ)數(shù)據(jù)和所述衍生數(shù)據(jù)合并并存儲(chǔ)到所述采用 key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng)中；
[0026] 否則，直接將所述基礎(chǔ)數(shù)據(jù)合并并存儲(chǔ)到所述采用key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng) 中。
[0027] 可選的，所述衍生數(shù)據(jù)配置中指定的計(jì)算方法，包括：系統(tǒng)提供的公共的計(jì)算方法 和/或自定義的計(jì)算方法。
[0028] 可選的，所述與所述業(yè)務(wù)數(shù)據(jù)相關(guān)的歷史累計(jì)數(shù)據(jù)，采用如下方式生成：根據(jù)所述 存儲(chǔ)系統(tǒng)中存儲(chǔ)的需累計(jì)的業(yè)務(wù)數(shù)據(jù)，按照預(yù)先定義的時(shí)間間隔，計(jì)算所述業(yè)務(wù)數(shù)據(jù)與所 述時(shí)間間隔對(duì)應(yīng)的累積值并存儲(chǔ)在所述存儲(chǔ)系統(tǒng)中。
[0029] 可選的，所述將獲取的所有數(shù)據(jù)信息存儲(chǔ)在采用key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng)中， 具體是指，采用與所述業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)標(biāo)識(shí)碼和主鍵數(shù)據(jù)作為數(shù)據(jù)存儲(chǔ)的鍵值， 將獲取的所有數(shù)據(jù)信息存儲(chǔ)在所述存儲(chǔ)系統(tǒng)中。
[0030] 可選的，所述方法進(jìn)一步包括，根據(jù)應(yīng)用的需求，從所述存儲(chǔ)系統(tǒng)中獲取需引入的 業(yè)務(wù)數(shù)據(jù)并引入。
[0031] 可選的，所述根據(jù)應(yīng)用的需求，從所述存儲(chǔ)系統(tǒng)中獲取需引入的業(yè)務(wù)數(shù)據(jù)并引入 包括：
[0032] 將某個(gè)業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)引入到需要使用該業(yè)務(wù)數(shù)據(jù)的某個(gè)應(yīng)用中；或者，
[0033] 將多個(gè)業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)依次引入到需要使用所述多個(gè)業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)的某個(gè)應(yīng) 用中；或者，
[0034] 將某個(gè)業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)分別引入到需要使用該業(yè)務(wù)數(shù)據(jù)的多個(gè)應(yīng)用中。
[0035] 可選的，所述方法進(jìn)一步包括，根據(jù)應(yīng)用的需求，從所述存儲(chǔ)系統(tǒng)中獲取需引入的 業(yè)務(wù)數(shù)據(jù)并引入；
[0036] 其中，所述根據(jù)應(yīng)用的需求，從所述存儲(chǔ)系統(tǒng)中獲取需引入的業(yè)務(wù)數(shù)據(jù)并引入具 體是指：根據(jù)應(yīng)用提供的業(yè)務(wù)數(shù)據(jù)標(biāo)識(shí)碼，從所述存儲(chǔ)系統(tǒng)中獲取與所述業(yè)務(wù)數(shù)據(jù)標(biāo)識(shí)碼 對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)；或者，根據(jù)應(yīng)用提供的業(yè)務(wù)數(shù)據(jù)標(biāo)識(shí)碼和主鍵數(shù)據(jù)值，從所述存儲(chǔ)系統(tǒng)中 獲取與所述業(yè)務(wù)數(shù)據(jù)標(biāo)識(shí)碼對(duì)應(yīng)的、并且與所述主鍵數(shù)據(jù)值相關(guān)的業(yè)務(wù)數(shù)據(jù)。
[0037] 可選的，所述接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)包括：
[0038] 通過同步接口調(diào)用方式，接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)；或者，
[0039] 通過異步消息投遞方式，接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)。
[0040] 可選的，所述采用key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng)是指Hbase、Tair、LevelDB或Redis 存儲(chǔ)系統(tǒng)中的一種。
[0041] 本申請(qǐng)同時(shí)提供一種用于快速引入業(yè)務(wù)數(shù)據(jù)的裝置，包括：
[0042] 業(yè)務(wù)數(shù)據(jù)接收單元，用于接收按照約定格式封裝的業(yè)務(wù)數(shù)據(jù)；
[0043] 業(yè)務(wù)數(shù)據(jù)獲取單元，用于根據(jù)約定格式從所述業(yè)務(wù)數(shù)據(jù)中獲取反映業(yè)務(wù)屬性的數(shù) 據(jù)信息；
[0044] 業(yè)務(wù)數(shù)據(jù)存儲(chǔ)單元，用于將獲取的所有數(shù)據(jù)信息存儲(chǔ)在采用key-value結(jié)構(gòu)的存 儲(chǔ)系統(tǒng)中。
[0045] 與現(xiàn)有技術(shù)相比，本申請(qǐng)具有以下優(yōu)點(diǎn)：
[0046] 本申請(qǐng)?zhí)峁┑挠糜诳焖僖霕I(yè)務(wù)數(shù)據(jù)的方法，通過將接收到的、按照預(yù)先約定格 式傳輸?shù)臉I(yè)務(wù)數(shù)據(jù)存儲(chǔ)在采用key-value結(jié)構(gòu)的存儲(chǔ)系統(tǒng)中，當(dāng)應(yīng)用系統(tǒng)或應(yīng)用程序需要 引入所