專利名稱：一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域，涉及遷移學(xué)習(xí)技術(shù)，為一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法。
背景技術(shù)：
電子商務(wù)，以電子和信息技術(shù)為手段和基礎(chǔ)，以商務(wù)為核心，把原來傳統(tǒng)的銷售、 購買方式和渠道轉(zhuǎn)移到物聯(lián)網(wǎng)上來。打破地域的限制，使企業(yè)能夠發(fā)展更為廣闊的市場。電子商務(wù)被形象的比喻為鼠標(biāo)加水泥的生產(chǎn)銷售方式，在近幾年因為其快速便捷的方式獲得了飛速的增長。個性化推薦，由于互聯(lián)網(wǎng)信息的快速膨脹，使得用戶很難快速的找到適合自己的產(chǎn)品或信息。在這樣的背景下，個性化推薦技術(shù)慢慢得到了廣泛的研究和應(yīng)用。個性化推薦就是要根據(jù)對用戶特征以及用戶歷史行為的分析發(fā)現(xiàn)客戶的真正興趣，對每個特定用戶都進(jìn)行專門的推薦，使得推薦的產(chǎn)品或服務(wù)最大程度上符合客戶的需要。目前垂直型電子商務(wù)網(wǎng)站發(fā)展速度很快，但是很多網(wǎng)站發(fā)展時間較短，數(shù)據(jù)積累不足，面對激烈的市場競爭，也急需引進(jìn)效果比較好的個性化推薦技術(shù)，而傳統(tǒng)推薦方法要獲得比較好的推薦效果，則必須要有豐富充足的歷史數(shù)據(jù)，而直接將已有電子商務(wù)網(wǎng)站的數(shù)據(jù)照搬耗時耗力，并且照搬的數(shù)據(jù)也無法直接用于新網(wǎng)站，可操作性不高。新建立的電子商務(wù)網(wǎng)站因數(shù)據(jù)稀少，冷啟動而無法進(jìn)行個性化推薦。遷移學(xué)習(xí) (Transfer Learning)，即一種學(xué)習(xí)對另一種學(xué)習(xí)的影響，廣泛的存在于知識、技能、態(tài)度和行為規(guī)范的學(xué)習(xí)中，遷移學(xué)習(xí)可以從現(xiàn)有的數(shù)據(jù)中遷移知識，用來幫助將來的學(xué)習(xí)，其目標(biāo)是將從一個環(huán)境中學(xué)到的知識用來幫助新環(huán)境中的學(xué)習(xí)任務(wù)。但遷移學(xué)習(xí)在電子商務(wù)網(wǎng)站之間的實(shí)際應(yīng)用會遇到一些問題，比如遷移網(wǎng)站的什么內(nèi)容，這些內(nèi)容以什么樣的形式存在，如何將這些內(nèi)容遷移至其他系統(tǒng)等。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是對于歷史數(shù)據(jù)稀少的電子商務(wù)網(wǎng)站，由于缺少歷史數(shù)據(jù)，無法對用戶進(jìn)行個性化推薦，直接照搬已有網(wǎng)站的數(shù)據(jù)耗時耗力，需要一種新的機(jī)器學(xué)習(xí)方法來解決歷史數(shù)據(jù)稀少的網(wǎng)站冷啟動問題，遷移學(xué)習(xí)方法雖然提出了新的機(jī)器學(xué)習(xí)理論，但如何具體應(yīng)用到網(wǎng)站的冷啟動上，還有待解決。本發(fā)明的技術(shù)方案為一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法，用于垂直電子商務(wù)網(wǎng)站，通過遷移學(xué)習(xí)將已有電子商務(wù)網(wǎng)站的歷史數(shù)據(jù)信息遷移到其它電子商務(wù)網(wǎng)站，具體為通過腳本采集已有電子商務(wù)網(wǎng)站的用戶基本信息以及用戶行為，由用戶基本信息得到用戶特征數(shù)據(jù)庫，由所述已有電子商務(wù)網(wǎng)站的產(chǎn)品信息得到產(chǎn)品特征數(shù)據(jù)庫，根據(jù)用戶行為分析用戶特征和產(chǎn)品特征的相關(guān)度，得到相關(guān)度矩陣，其它電子商務(wù)網(wǎng)站根據(jù)進(jìn)入網(wǎng)站的用戶基本信息，結(jié)合所述相關(guān)度矩陣，計算該用戶與本電子商務(wù)網(wǎng)站產(chǎn)品的相關(guān)度，進(jìn)行推薦。
本發(fā)明包括以下步驟1)對已有電子商務(wù)網(wǎng)站，通過Jav必cript腳本收集用戶基本信息，建立用戶特征數(shù)據(jù)庫，用戶特征包括用戶的國家、地區(qū)、城市、用戶使用的計算機(jī)操作系統(tǒng)、瀏覽器以及語言、進(jìn)入電子商務(wù)網(wǎng)站的方式及搜索過的關(guān)鍵字；2)對已有電子商務(wù)網(wǎng)站，通過Jav必cript腳本收集用戶行為，建立用戶的行為歷史數(shù)據(jù)庫，用戶行為包括瀏覽和購買行為；3)識別已有電子商務(wù)網(wǎng)站產(chǎn)品的特征，建立產(chǎn)品特征數(shù)據(jù)庫，產(chǎn)品特征包括產(chǎn)品的類別、顏色、材質(zhì)、規(guī)格和價位信息；4)根據(jù)步驟1)的用戶特征數(shù)據(jù)庫建立用戶特征矩陣U，用戶特征矩陣U是一個 uXm的矩陣，其中u為用戶數(shù)，m為用戶特征數(shù)，其中，若第k個用戶包含第j個特征，則矩陣U的第k行第j個元素為1，否則為0 ；5)根據(jù)步驟幻的產(chǎn)品特征數(shù)據(jù)庫建立產(chǎn)品特征矩陣I，產(chǎn)品特征矩陣I是一個 iXn的矩陣，其中i為產(chǎn)品數(shù)，η為產(chǎn)品特征數(shù)，其中，若第ρ個產(chǎn)品包含第q個特征，則矩陣I的第P行第q個元素為1，否則為0 ；6)根據(jù)用戶行為建立用戶行為矩陣，用戶行為矩陣A是一個UXi的矩陣，u為用戶數(shù)，i為產(chǎn)品數(shù)，其中，該矩陣的第X行第y個元素表示第X用戶對第y個產(chǎn)品的行為記錄，設(shè)購買行為為2，瀏覽行為為1，沒有任何行為記錄的為0 ；7)通過最優(yōu)化方法計算用戶特征與產(chǎn)品特征之間相關(guān)度，得到相關(guān)度矩陣W，W為一個mXn的矩陣，第s行第t個元素表示第s個用戶特征和第t個產(chǎn)品特征的相關(guān)度，通過使UXWX It與A中對應(yīng)元素相減求平方和最小，使得UXWX It和A最為接近，此時的W 矩陣即為最優(yōu)化結(jié)果；8)將步驟7)獲得的相關(guān)度矩陣W通過遷移學(xué)習(xí)的方式轉(zhuǎn)移到其他電子商務(wù)網(wǎng)站系統(tǒng)中，通過新系統(tǒng)的用戶特征矩陣U’，產(chǎn)品特征矩陣I’以及相關(guān)度矩陣W計算出新系統(tǒng)中用戶對所有產(chǎn)品的相關(guān)度，然后按照相關(guān)度的高低對用戶進(jìn)行產(chǎn)品的推薦。收集用戶行為時，收集用戶的點(diǎn)擊，懸停，拖動行為。建立用戶行為矩陣時，用戶的行為記錄還包括用戶瀏覽一個產(chǎn)品的時間、次數(shù)、或者是否收藏了此產(chǎn)品到收藏夾。在本發(fā)明方法中，對原有歷史數(shù)據(jù)密集的系統(tǒng)中用戶特征和產(chǎn)品特征相關(guān)模式進(jìn)行學(xué)習(xí)，此模式體現(xiàn)了用戶的特征和產(chǎn)品特征之間的關(guān)系并以矩陣的形式存在，將此模式矩陣作為遷移學(xué)習(xí)的內(nèi)容遷移至其他類似的由于歷史數(shù)據(jù)不足無法進(jìn)行有效推薦的系統(tǒng)中，實(shí)現(xiàn)有效的個性化推薦。本發(fā)明無需對網(wǎng)站數(shù)據(jù)整體進(jìn)行大規(guī)模遷移即可實(shí)現(xiàn)新網(wǎng)站的冷啟動，解決了遷移學(xué)習(xí)如何應(yīng)用在電子商務(wù)網(wǎng)站數(shù)據(jù)遷移中的問題。首先解決了應(yīng)該遷移什么的問題，結(jié)合解決個性化推薦的冷啟動問題，本發(fā)明提出了應(yīng)該將歷史數(shù)據(jù)密集的電子商務(wù)網(wǎng)站中用戶特征和產(chǎn)品特征之間的關(guān)系遷移至其他數(shù)據(jù)稀疏的電子商務(wù)網(wǎng)站中；其次是如何獲取用戶特征和產(chǎn)品特征關(guān)系的問題，定義了用戶和產(chǎn)品應(yīng)該用哪些特征來描述，并用最優(yōu)化的方法求解出用戶特征和產(chǎn)品特征的關(guān)系矩陣。本發(fā)明通過遷移學(xué)習(xí)的方式解決了數(shù)據(jù)稀疏網(wǎng)站因為冷啟動問題而無法進(jìn)行個性化推薦的問題，實(shí)驗表明通過遷移學(xué)習(xí)的方式，在數(shù)據(jù)稀疏網(wǎng)站上進(jìn)行推薦的效果能夠接近原數(shù)據(jù)密集網(wǎng)站的推薦效果。


圖1為本發(fā)明的流程圖。
具體實(shí)施例方式本發(fā)明用于垂直電子商務(wù)網(wǎng)站，通過遷移學(xué)習(xí)將已有電子商務(wù)網(wǎng)站的歷史數(shù)據(jù)信息遷移到其它電子商務(wù)網(wǎng)站，如圖1所述通過腳本采集已有電子商務(wù)網(wǎng)站的用戶基本信息以及用戶行為，由用戶基本信息得到用戶特征數(shù)據(jù)庫，由所述已有電子商務(wù)網(wǎng)站的產(chǎn)品信息得到產(chǎn)品特征數(shù)據(jù)庫，根據(jù)用戶行為分析用戶特征和產(chǎn)品特征的相關(guān)度，得到相關(guān)度矩陣，其它電子商務(wù)網(wǎng)站根據(jù)進(jìn)入網(wǎng)站的用戶基本信息，結(jié)合所述相關(guān)度矩陣，計算該用戶與本電子商務(wù)網(wǎng)站產(chǎn)品的相關(guān)度，進(jìn)行推薦。下面通過具體的實(shí)施例來說明本發(fā)明的實(shí)時，本發(fā)明按照如下步驟實(shí)施1)通過Jav必cript腳本收集用戶的基本信息，建立用戶特征數(shù)據(jù)庫；用戶基本信息包括用戶所處的國家、地區(qū)、城市，用戶使用的系統(tǒng)、瀏覽器和語言，用戶進(jìn)入網(wǎng)站的方式，比如通過社交網(wǎng)站的鏈接，或者通過搜索引擎搜索進(jìn)入，在使用搜索引擎時可以收集的可能使用的搜索關(guān)鍵字。用戶基本信息可用如下JavMcript腳本采集var χ = navigator ；var Name = χ. appName -J/ 瀏覽器var Platform = χ. platform -J/ 操作系統(tǒng)varSystemLanguage = χ. systemLanguage ？ χ. systemLanguage :χ. language -J/ 系統(tǒng)語言varRefer =encodeURIComponent (encodeURIComponent (document, referrer)) -J/ 訪問方式varStr = new Date ()；var Date = Str. getTime () -J/ 時間var country = geoip_country_name () -J/ 國家var region = geoip_region_name () -J/ 地區(qū)var city = geoip_city () ；//城市比如收集到的一條用戶信息如下(MSIE, Win32, Australia, Victoria, Footscray, www. bagsok. com, 20110312)；2)通過Jav必cript腳本收集用戶的行為，建立用戶的行為歷史數(shù)據(jù)庫；用戶行為主要包括用戶的瀏覽行為和下單購買行為。還可以通過收集用戶的點(diǎn)擊，懸停，拖動等更具體的行為來更好的區(qū)分用戶對產(chǎn)品的喜好。用戶的訪問行為可用如下Javakript腳本采集var page = encodeURIComponent(encodeURIComponent(location, href)) ；//用戶瀏覽的網(wǎng)頁的URI通過記錄用戶去過那個產(chǎn)品的展示頁面和購買頁面，可以的到用戶的瀏覽和購買歷史記錄；3)識別產(chǎn)品的特征，建立產(chǎn)品數(shù)據(jù)庫，包括產(chǎn)品的類別、顏色、材質(zhì)、規(guī)格、價位等 fn息；對產(chǎn)品數(shù)據(jù)庫中的原始數(shù)據(jù)進(jìn)行處理，得到類似如下的一條產(chǎn)品信息(Kingsons, Leisure, Men， s, $74. 49, Nylon,Zip Closure,1340g)；4)根據(jù)收集的用戶信息建立用戶特征矩陣。用戶特征矩陣U是一個UXm的矩陣， 其中u為用戶數(shù)，m為用戶特征數(shù)。其中，若第k個用戶包含第j個特征，則矩陣U的第k行第j個元素為1，即& = 1，否則為0;5)根據(jù)收集的產(chǎn)品信息建立產(chǎn)品特征矩陣。產(chǎn)品特征矩陣I是一個i Xn的矩陣， 其中i為產(chǎn)品數(shù)，η為用戶特征數(shù)。其中，若第ρ個產(chǎn)品包含第q個特征，則矩陣I的第P行第q個元素為1，即‘=1，否則為0;6)根據(jù)用戶的訪問和購買信息，建立用戶行為矩陣。用戶行為矩陣A是一個UXi 的矩陣，其中U為用戶數(shù)，i為產(chǎn)品數(shù)。其中，該矩陣的第X行第y個元素表示第X用戶對第y個產(chǎn)品的行為記錄，設(shè)購買過為2，即Axy = 2，瀏覽過為1，即Axy = 1，沒有任何記錄的為0。如果收集到其他數(shù)據(jù)，例如用戶瀏覽一個產(chǎn)品的時間，次數(shù)，或者收藏了此產(chǎn)品到收藏夾等，也可以分更多的層次來表示用戶對產(chǎn)品的行為記錄。7)通過最優(yōu)化方法計算用戶特征與產(chǎn)品特征之間相關(guān)度。該相關(guān)度矩陣W為一個mXn的矩陣，第s行第t個元素表示第s個用戶特征和第t個產(chǎn)品特征的相關(guān)度。通過使UXWX It與A中對應(yīng)元素相減求平方和最小，使得UXWX It和A最為接近，此時的W矩陣即為最優(yōu)化結(jié)果。計算公式如下
權(quán)利要求
1.一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法，用于垂直電子商務(wù)網(wǎng)站，其特征是通過遷移學(xué)習(xí)將已有電子商務(wù)網(wǎng)站的歷史數(shù)據(jù)信息遷移到其它電子商務(wù)網(wǎng)站，具體為通過腳本采集已有電子商務(wù)網(wǎng)站的用戶基本信息以及用戶行為，由用戶基本信息得到用戶特征數(shù)據(jù)庫，由所述已有電子商務(wù)網(wǎng)站的產(chǎn)品信息得到產(chǎn)品特征數(shù)據(jù)庫，根據(jù)用戶行為分析用戶特征和產(chǎn)品特征的相關(guān)度，得到相關(guān)度矩陣，其它電子商務(wù)網(wǎng)站根據(jù)進(jìn)入網(wǎng)站的用戶基本信息，結(jié)合所述相關(guān)度矩陣，計算該用戶與本電子商務(wù)網(wǎng)站產(chǎn)品的相關(guān)度，進(jìn)行推薦。
2.根據(jù)權(quán)利要求1所述的一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法，其特征是包括以下步驟1)對已有電子商務(wù)網(wǎng)站，通過Jav必cript腳本收集用戶基本信息，建立用戶特征數(shù)據(jù)庫，用戶特征包括用戶的國家、地區(qū)、城市、用戶使用的計算機(jī)操作系統(tǒng)、瀏覽器以及語言、 進(jìn)入電子商務(wù)網(wǎng)站的方式及搜索過的關(guān)鍵字；2)對已有電子商務(wù)網(wǎng)站，通過Jav必cript腳本收集用戶行為，建立用戶的行為歷史數(shù)據(jù)庫，用戶行為包括瀏覽和購買行為；3)識別已有電子商務(wù)網(wǎng)站產(chǎn)品的特征，建立產(chǎn)品特征數(shù)據(jù)庫，產(chǎn)品特征包括產(chǎn)品的類別、顏色、材質(zhì)、規(guī)格和價位信息；4)根據(jù)步驟1)的用戶特征數(shù)據(jù)庫建立用戶特征矩陣U，用戶特征矩陣U是一個uXm 的矩陣，其中u為用戶數(shù)，m為用戶特征數(shù)，其中，若第k個用戶包含第j個特征，則矩陣U的第k行第j個元素為1，否則為0;5)根據(jù)步驟3)的產(chǎn)品特征數(shù)據(jù)庫建立產(chǎn)品特征矩陣I，產(chǎn)品特征矩陣I是一個iXn 的矩陣，其中i為產(chǎn)品數(shù)，η為產(chǎn)品特征數(shù)，其中，若第ρ個產(chǎn)品包含第q個特征，則矩陣I的第P行第q個元素為1，否則為0;6)根據(jù)用戶行為建立用戶行為矩陣，用戶行為矩陣A是一個uXi的矩陣，u為用戶數(shù)， i為產(chǎn)品數(shù)，其中，該矩陣的第χ行第y個元素表示第χ用戶對第y個產(chǎn)品的行為記錄，設(shè)購買行為為2，瀏覽行為為1，沒有任何行為記錄的為0 ；7)通過最優(yōu)化方法計算用戶特征與產(chǎn)品特征之間相關(guān)度，得到相關(guān)度矩陣W，W為一個 mXn的矩陣，第s行第t個元素表示第s個用戶特征和第t個產(chǎn)品特征的相關(guān)度，通過使 UXWX It與A中對應(yīng)元素相減求平方和最小，使得UXWX It和A最為接近，此時的W矩陣即為最優(yōu)化結(jié)果；8)將步驟7)獲得的相關(guān)度矩陣W通過遷移學(xué)習(xí)的方式轉(zhuǎn)移到其他電子商務(wù)網(wǎng)站系統(tǒng)中，通過新系統(tǒng)的用戶特征矩陣U’，產(chǎn)品特征矩陣I’以及相關(guān)度矩陣W計算出新系統(tǒng)中用戶對所有產(chǎn)品的相關(guān)度，然后按照相關(guān)度的高低對用戶進(jìn)行產(chǎn)品的推薦。
3.根據(jù)權(quán)利要求2所述的一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法，其特征是收集用戶行為時，收集用戶的點(diǎn)擊，懸停，拖動行為。
4.根據(jù)權(quán)利要求2所述的一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法，其特征是建立用戶行為矩陣時，用戶的行為記錄還包括用戶瀏覽一個產(chǎn)品的時間、次數(shù)、或者是否收藏了此產(chǎn)品到收藏夾。
全文摘要
一種網(wǎng)站數(shù)據(jù)的獲取及遷移使用方法，用于垂直電子商務(wù)網(wǎng)站，通過遷移學(xué)習(xí)將已有電子商務(wù)網(wǎng)站的歷史數(shù)據(jù)信息遷移到其它電子商務(wù)網(wǎng)站，通過腳本采集已有電子商務(wù)網(wǎng)站的用戶基本信息以及用戶行為，由用戶基本信息得到用戶特征數(shù)據(jù)庫，由所述已有電子商務(wù)網(wǎng)站的產(chǎn)品信息得到產(chǎn)品特征數(shù)據(jù)庫，根據(jù)用戶行為分析用戶特征和產(chǎn)品特征的相關(guān)度，得到相關(guān)度矩陣，其它電子商務(wù)網(wǎng)站根據(jù)進(jìn)入網(wǎng)站的用戶基本信息，結(jié)合所述相關(guān)度矩陣，計算該用戶與本電子商務(wù)網(wǎng)站產(chǎn)品的相關(guān)度，進(jìn)行推薦。本發(fā)明對原有歷史數(shù)據(jù)密集的系統(tǒng)中用戶特征和產(chǎn)品特征相關(guān)模式進(jìn)行學(xué)習(xí)，基于遷移學(xué)習(xí)方法遷移至其他類似的由于歷史數(shù)據(jù)不足無法進(jìn)行有效推薦的電子商務(wù)網(wǎng)站中使用。
文檔編號G06F17/30GK102289509SQ20111025493
公開日2011年12月21日 申請日期2011年8月31日 優(yōu)先權(quán)日2011年8月31日
發(fā)明者劉嘉, 吳清, 惠成峰, 祁奇, 陳振宇 申請人:南京大學(xué)