本發(fā)明涉及計(jì)算機(jī)技術(shù)及軟件領(lǐng)域，尤其涉及一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法、裝置及系統(tǒng)。

背景技術(shù)：

隨著電子商務(wù)的發(fā)展，日常運(yùn)營中生成、累積的與用戶、商品、生產(chǎn)相關(guān)的數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，數(shù)據(jù)結(jié)構(gòu)也趨于多元，數(shù)據(jù)中包含的信息量越來越多，企業(yè)對(duì)數(shù)據(jù)化運(yùn)營也越來越關(guān)注。

用戶瀏覽行為自主性的強(qiáng)弱，可表現(xiàn)為當(dāng)前時(shí)段對(duì)商品需求性的強(qiáng)弱。用戶需求的表現(xiàn)會(huì)潛在引導(dǎo)商家選取商品的方向，對(duì)商家在商品庫存的貯備也會(huì)產(chǎn)生相當(dāng)大影響。通過搜集用戶訪問商品頁面的行為，從而可以更好的洞察用戶的需求，發(fā)現(xiàn)目標(biāo)用戶，同時(shí)有利于營銷策略的制定和商品現(xiàn)貨水平評(píng)估，幫助電子商務(wù)企業(yè)提高業(yè)務(wù)創(chuàng)新能力，提高業(yè)務(wù)運(yùn)營水平，提升經(jīng)營效率。

然而，現(xiàn)有技術(shù)中大多是通過分析用戶已購買商品的類型等其他屬性數(shù)據(jù)指導(dǎo)商家的經(jīng)營行為，并沒有專門收集用戶瀏覽商品頁面時(shí)選擇的配送區(qū)域數(shù)據(jù)，并利用此數(shù)據(jù)評(píng)估商品SKU庫存周轉(zhuǎn)和合理性等的方法，這就不便于實(shí)現(xiàn)針對(duì)用戶瀏覽數(shù)據(jù)進(jìn)行處理，也不利于預(yù)估用戶的購買期望以及利用瀏覽商品的現(xiàn)貨水平進(jìn)行其他應(yīng)用場景的業(yè)務(wù)分析，造成數(shù)據(jù)資源的浪費(fèi)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法、裝置及系統(tǒng)，能夠?yàn)檠芯坑脩粜枨蠛蜕唐穾齑嬷g的關(guān)系提供數(shù)據(jù)基礎(chǔ)，方便經(jīng)營者通過對(duì)匯總結(jié)果的分析和挖掘，及時(shí)調(diào)整商品庫存水平。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法。

本發(fā)明的一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法包括：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，所述配送區(qū)域數(shù)據(jù)包括：所瀏覽商品的信息、選擇的配送區(qū)域以及所述配送區(qū)域的商品庫存狀態(tài)；將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中；按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，并保存匯總結(jié)果。

可選地，獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)包括：采用定向埋點(diǎn)的方式獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)。

可選地，所述方法還包括：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)之后，對(duì)所述配送區(qū)域數(shù)據(jù)進(jìn)行清洗，以剔除干擾數(shù)據(jù)。

可選地，將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中包括：定期將所述配送區(qū)域數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，利用Hive工具建立原始映射表，并按照抽取周期對(duì)原始映射表進(jìn)行分區(qū)，然后將原始映射表中的數(shù)據(jù)轉(zhuǎn)換后加載到目標(biāo)表中。

可選地，按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總包括：以瀏覽商品的現(xiàn)貨率為指標(biāo)，按照商品SKU、分公司、配送中心、庫房中的一個(gè)或多個(gè)業(yè)務(wù)主題，對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，生成相應(yīng)的匯總表。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的再一方面，提供了一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的裝置。

本發(fā)明的一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的裝置，其特征在于，包括：獲取模塊，用于獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，所述配送區(qū)域數(shù)據(jù)包括：所瀏覽商品的信息、選擇的配送區(qū)域以及所述配送區(qū)域的商品庫存狀態(tài)；保存模塊，用于將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中；匯總模塊，用于按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，并保存匯總結(jié)果。

可選地，所述獲取模塊還用于：采用定向埋點(diǎn)的方式獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)。

可選地，所述獲取模塊還用于：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)之后，對(duì)所述配送區(qū)域數(shù)據(jù)進(jìn)行清洗，以剔除干擾數(shù)據(jù)。

可選地，所述保存模塊還用于：定期將所述配送區(qū)域數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，利用Hive工具建立原始映射表，并按照抽取周期對(duì)原始映射表進(jìn)行分區(qū)，然后將原始映射表中的數(shù)據(jù)轉(zhuǎn)換后加載到目標(biāo)表中。

可選地，所述匯總模塊還用于：以瀏覽商品的現(xiàn)貨率為指標(biāo)，按照商品SKU、分公司、配送中心、庫房中的一個(gè)或多個(gè)業(yè)務(wù)主題，對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，生成相應(yīng)的匯總表。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的又一方面，提供了一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的系統(tǒng)。

本發(fā)明的一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的系統(tǒng)，其特征在于，包括：存儲(chǔ)器和處理器，其中：所述存儲(chǔ)器存儲(chǔ)指令；所述處理器被配置為根據(jù)所述指令執(zhí)行以下步驟：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，所述配送區(qū)域數(shù)據(jù)包括：所瀏覽商品的信息、選擇的配送區(qū)域以及所述配送區(qū)域的商品庫存狀態(tài)；將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中；按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，并保存匯總結(jié)果。

根據(jù)本發(fā)明的技術(shù)方案，通過基于用戶瀏覽商品的頁面配送區(qū)域數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，從而可以為實(shí)現(xiàn)數(shù)據(jù)分析和挖掘奠定基礎(chǔ)，有利于經(jīng)營者及時(shí)準(zhǔn)確的獲取商品現(xiàn)貨率水平，調(diào)整經(jīng)營策略；通過以Hadoop為平臺(tái)，以Hive作為數(shù)據(jù)模型構(gòu)建工具進(jìn)行數(shù)據(jù)處理，從而可以提升數(shù)據(jù)處理的穩(wěn)定性、可擴(kuò)展性；通過將配送區(qū)域數(shù)據(jù)按業(yè)務(wù)需求進(jìn)行特定維度的匯總，從而可以將匯總結(jié)果及時(shí)全面的予以呈現(xiàn)，有利于各應(yīng)用系統(tǒng)進(jìn)行有效地?cái)?shù)據(jù)分析和決策，如對(duì)商品庫存的采購、調(diào)撥、周轉(zhuǎn)做出指導(dǎo)等。

附圖說明

附圖用于更好地理解本發(fā)明，不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。其中：

圖1是根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法的主要步驟的示意圖；

圖2是根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的裝置的主要模塊的示意圖；

圖3是根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的系統(tǒng)的主要部分的示意圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例做出說明，其中包括本發(fā)明實(shí)施例的各種細(xì)節(jié)以助于理解，應(yīng)當(dāng)將它們認(rèn)為僅僅是示范性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，可以對(duì)這里描述的實(shí)施例做出各種改變和修改，而不會(huì)背離本發(fā)明的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對(duì)公知功能和結(jié)構(gòu)的描述。

圖1是根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法的主要步驟的示意圖。

如圖1所示，本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法主要包括如下步驟：

步驟S11：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，所述配送區(qū)域數(shù)據(jù)包括：所瀏覽商品的信息、選擇的配送區(qū)域以及所述配送區(qū)域的商品庫存狀態(tài)。本步驟的目的在于抓取用戶瀏覽商品頁面配送區(qū)域記錄，獲得配送區(qū)域數(shù)據(jù)。

本發(fā)明實(shí)施例中，可以采用定向埋點(diǎn)的方式獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，即是對(duì)電商網(wǎng)站中的商品頁面進(jìn)行定向埋點(diǎn)。采用的方法如下：埋點(diǎn)的頁面在業(yè)務(wù)上屬于電商網(wǎng)站的主站，并且流量也要計(jì)入主站流量中，那么，該頁面需要埋主站的JS代碼。當(dāng)用戶瀏覽商品頁面并選擇配送至區(qū)域后，商品狀態(tài)為有貨或無貨，則獲得本次用戶的瀏覽記錄，包括記錄用戶瀏覽省、市、縣、區(qū)的商品庫存狀態(tài)。

具體操作可以是：統(tǒng)計(jì)頁面配送區(qū)域的瀏覽記錄，需要在對(duì)應(yīng)的坑位處加clstagid。即根據(jù)域名，在頁面中加載JS代碼。然后在頁面中相應(yīng)的區(qū)域添加clstag。當(dāng)該區(qū)域有用戶點(diǎn)擊的時(shí)候，點(diǎn)擊流自動(dòng)識(shí)別該標(biāo)簽，記錄固定格式的日志。

本發(fā)明實(shí)施例中，獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)之后，對(duì)所述配送區(qū)域數(shù)據(jù)進(jìn)行清洗。即獲得基礎(chǔ)數(shù)據(jù)后，進(jìn)行數(shù)據(jù)清洗，以完成剔除異常數(shù)據(jù)等預(yù)處理工作。

具體而言可以是，將用戶的配送區(qū)域數(shù)據(jù)進(jìn)行清洗，只保留有效用戶的數(shù)據(jù)記錄，排除干擾數(shù)據(jù)的干擾。如爬蟲瀏覽記錄、未登陸用戶瀏覽記錄和頁面默認(rèn)配送區(qū)域的記錄等。本發(fā)明實(shí)施例中可以通過Hive工具的SQL語句進(jìn)行，將干擾數(shù)據(jù)排除掉，例如將分配默認(rèn)的地址的流量數(shù)據(jù)濾掉，從而達(dá)到屏蔽干擾數(shù)據(jù)的效果。將清洗后的數(shù)據(jù)予以保存，例如可以以日志的形式保存至服務(wù)器本地，以記錄下每日的瀏覽記錄數(shù)據(jù)。

在本步驟獲取配送區(qū)域數(shù)據(jù)之后，從步驟S12進(jìn)行處理。

步驟S12：將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中。本步驟的目的在于將獲取的數(shù)據(jù)保存到數(shù)據(jù)倉庫中，以便于后續(xù)對(duì)配送區(qū)域數(shù)據(jù)的分區(qū)、匯總及分析處理。

本發(fā)明實(shí)施例中將配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中包括：定期(例如可以是每天，從而得到日頁面瀏覽量PV，進(jìn)而可以計(jì)算出日PV的現(xiàn)貨率數(shù)值，即根據(jù)得到的每日瀏覽商品的庫存狀況計(jì)算得出的現(xiàn)貨率))將所述配送區(qū)域數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，利用Hive工具建立原始映射表，并按照抽取周期對(duì)原始映射表進(jìn)行分區(qū)，然后將原始映射表中的數(shù)據(jù)轉(zhuǎn)換后加載到目標(biāo)表中。

具體而言：首先通過調(diào)度單元，每天將配送區(qū)域數(shù)據(jù)抽取到Hadoop本地服務(wù)器上，然后利用數(shù)據(jù)倉庫工具Hive建立原始映射表，并將配送區(qū)域數(shù)據(jù)按天進(jìn)行分區(qū)。其中，Hive是建立在Hadoop上的分布式數(shù)據(jù)倉庫工具，將數(shù)據(jù)映射到Hive的表中，可以為后續(xù)的數(shù)據(jù)加工處理做準(zhǔn)備，以便于進(jìn)行分區(qū)和后續(xù)利用MapReduce對(duì)數(shù)據(jù)進(jìn)行業(yè)務(wù)匯總。

完成數(shù)據(jù)分區(qū)后，根據(jù)電子商務(wù)的數(shù)據(jù)倉庫的數(shù)據(jù)模型和業(yè)務(wù)需求編寫并執(zhí)行Hive腳本，從而將原始映射表中的數(shù)據(jù)轉(zhuǎn)換后加載到Hive目標(biāo)表中。

步驟S13：按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，并保存匯總結(jié)果。

將數(shù)據(jù)加載到Hive目標(biāo)表后，可以根據(jù)業(yè)務(wù)需求對(duì)目標(biāo)表中的數(shù)據(jù)進(jìn)行匯總處理，以得到特定業(yè)務(wù)主題下的匯總數(shù)據(jù)，便于商品運(yùn)營人員根據(jù)匯總數(shù)據(jù)評(píng)估商品的PV現(xiàn)貨情況，從而合理安排庫存，滿足用戶的購買需求。

例如可以以商品SKU、分公司、配送中心、庫房等維度，以PV現(xiàn)貨率指標(biāo)進(jìn)行匯總，得到相應(yīng)的匯總表。具體而言，可以通過Hive SQL編寫匯總SQL腳本，并將腳本提交到Hadoop上進(jìn)行MapReduce運(yùn)行，最終得到的匯總結(jié)果插入到匯總表中。

此外，本發(fā)明實(shí)施例中，還可以根據(jù)數(shù)據(jù)服務(wù)口徑，將匯總表進(jìn)一步處理為應(yīng)用表，并將應(yīng)用表數(shù)據(jù)推送到相應(yīng)應(yīng)用系統(tǒng)中，以便于對(duì)數(shù)據(jù)的進(jìn)一步分析和挖掘。

根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的方法可以看出，通過基于用戶瀏覽商品的頁面配送區(qū)域數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，從而可以為實(shí)現(xiàn)數(shù)據(jù)分析和挖掘奠定基礎(chǔ)，有利于經(jīng)營者及時(shí)準(zhǔn)確的獲取商品現(xiàn)貨率水平，調(diào)整經(jīng)營策略；通過以Hadoop為平臺(tái)，以Hive作為數(shù)據(jù)模型構(gòu)建工具進(jìn)行數(shù)據(jù)處理，從而可以提升數(shù)據(jù)處理的穩(wěn)定性、可擴(kuò)展性；通過將配送區(qū)域數(shù)據(jù)按業(yè)務(wù)需求進(jìn)行特定維度的匯總，從而可以將匯總結(jié)果及時(shí)全面的予以呈現(xiàn)，有利于各應(yīng)用系統(tǒng)進(jìn)行有效地?cái)?shù)據(jù)分析和決策，如對(duì)商品庫存的采購、調(diào)撥、周轉(zhuǎn)做出指導(dǎo)等。

圖2是根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的裝置的主要模塊的示意圖。

如圖2所示，本發(fā)明實(shí)施例的一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的裝置20主要包括：獲取模塊201、保存模塊202以及匯總模塊203，其中：

獲取模塊201用于獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，所述配送區(qū)域數(shù)據(jù)包括：所瀏覽商品的信息、選擇的配送區(qū)域以及所述配送區(qū)域的商品庫存狀態(tài)；保存模塊202用于將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中；匯總模塊203用于按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，并保存匯總結(jié)果。

其中，獲取模塊201還可以用于：采用定向埋點(diǎn)的方式獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)。

另外，獲取模塊201還可用于：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)之后，對(duì)所述配送區(qū)域數(shù)據(jù)進(jìn)行清洗，以剔除干擾數(shù)據(jù)。

保存模塊202還可用于：定期將所述配送區(qū)域數(shù)據(jù)抽取到數(shù)據(jù)倉庫中，利用Hive工具建立原始映射表，并按照抽取周期對(duì)原始映射表進(jìn)行分區(qū)，然后將原始映射表中的數(shù)據(jù)轉(zhuǎn)換后加載到目標(biāo)表中。

匯總模塊203還可用于：以瀏覽商品的現(xiàn)貨率為指標(biāo)，按照商品SKU、分公司、配送中心、庫房中的一個(gè)或多個(gè)業(yè)務(wù)主題，對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，生成相應(yīng)的匯總表。

圖3是根據(jù)本發(fā)明實(shí)施例的基于用戶瀏覽商品行為的數(shù)據(jù)處理的系統(tǒng)的主要部分的示意圖。

如圖3所示，本發(fā)明實(shí)施例的一種基于用戶瀏覽商品行為的數(shù)據(jù)處理的系統(tǒng)30主要包括：存儲(chǔ)器301和處理器302，其中：存儲(chǔ)器301存儲(chǔ)指令；處理器302被配置為根據(jù)所述指令執(zhí)行以下步驟：獲取用戶瀏覽商品的配送區(qū)域數(shù)據(jù)，所述配送區(qū)域數(shù)據(jù)包括：所瀏覽商品的信息、選擇的配送區(qū)域以及所述配送區(qū)域的商品庫存狀態(tài)；將所述配送區(qū)域數(shù)據(jù)保存到數(shù)據(jù)倉庫中；按照業(yè)務(wù)主題對(duì)配送區(qū)域數(shù)據(jù)進(jìn)行匯總，并保存匯總結(jié)果。

從以上描述可以看出，通過基于用戶瀏覽商品的頁面配送區(qū)域數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，從而可以為實(shí)現(xiàn)數(shù)據(jù)分析和挖掘奠定基礎(chǔ)，有利于經(jīng)營者及時(shí)準(zhǔn)確的獲取商品現(xiàn)貨率水平，調(diào)整經(jīng)營策略；通過以Hadoop為平臺(tái)，以Hive作為數(shù)據(jù)模型構(gòu)建工具進(jìn)行數(shù)據(jù)處理，從而可以提升數(shù)據(jù)處理的穩(wěn)定性、可擴(kuò)展性；通過將配送區(qū)域數(shù)據(jù)按業(yè)務(wù)需求進(jìn)行特定維度的匯總，從而可以將匯總結(jié)果及時(shí)全面的予以呈現(xiàn)，有利于各應(yīng)用系統(tǒng)進(jìn)行有效地?cái)?shù)據(jù)分析和決策，如對(duì)商品庫存的采購、調(diào)撥、周轉(zhuǎn)做出指導(dǎo)等。

上述具體實(shí)施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。