一種基于非負(fù)交替方向變換的用戶特征抽取方法及抽取裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機大數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及電子商務(wù)系統(tǒng)中一種基于非負(fù) 交替方向變換的用戶特征抽取方法及抽取裝置。
【背景技術(shù)】
[0002] 現(xiàn)代大型電子商務(wù)系統(tǒng)，其用戶數(shù)量和信息數(shù)量十分巨大。此類系統(tǒng)中，用戶的各 種客觀行為，如點擊、瀏覽、評論、搜索等等，隨系統(tǒng)運營時間累積，匯集成為龐大的用戶歷 史行為數(shù)據(jù)集，數(shù)據(jù)量至少在TB量級，為典型的大數(shù)據(jù)環(huán)境。
[0003] 在大型電子商務(wù)系統(tǒng)中，一種典型的數(shù)據(jù)描述結(jié)構(gòu)是用戶行為統(tǒng)計矩陣，其中的 每一行對應(yīng)一個用戶，每一列對應(yīng)于一個項目；項目指系統(tǒng)中任何可能由用戶操作的客觀 物體，如新聞、圖片、商品；每個矩陣元素對應(yīng)單個用戶對單個項目的歷史行為數(shù)據(jù)，該數(shù)據(jù) 是使用該用戶對該項目的客觀歷史行為數(shù)據(jù)，利用符合自然規(guī)律的數(shù)學(xué)統(tǒng)計方法進行量化 計算構(gòu)成。大型電子商務(wù)系統(tǒng)中，用戶和項目數(shù)量十分巨大，對應(yīng)用戶行為統(tǒng)計矩陣也十分 巨大。同時，一個用戶不可能操作所有的項目，一個項目也不可能被所有的用戶操作；一般 而言，用戶行為統(tǒng)計矩陣中的已知數(shù)據(jù)遠少于未知數(shù)據(jù)，是極端稀疏的。
[0004] 系統(tǒng)運營過程中，基于用戶行為統(tǒng)計矩陣中的已知數(shù)據(jù)，從中抽取用戶特征，可對 用戶的行為進行有效的分析，從中挖掘包括用戶類別、行為模式等規(guī)律。在用戶特征的抽取 過程中，保持用戶特征的非負(fù)性，是一個關(guān)鍵，這是因為非負(fù)的用戶特征更加符合電子商務(wù) 系統(tǒng)中用戶行為數(shù)據(jù)為正數(shù)的自然規(guī)律，能更好地對用戶行為進行表征?，F(xiàn)有非負(fù)特征抽 取技術(shù)多用于計算機視覺領(lǐng)域，其基本特點是對于給定的圖形或者圖像，將其視為一個滿 秩矩陣，并對其進行非負(fù)條件限制下的矩陣因式分解，從而抽取出該圖形或圖像的局部物 體特征。但是，電子商務(wù)系統(tǒng)中的用戶特征抽取問題，與計算機視覺中的非負(fù)物體特征抽取 問題，具備很大區(qū)別。這是因為計算機視覺中的非負(fù)物體特征抽取所處理的圖形、圖像所轉(zhuǎn) 化的矩陣是滿秩矩陣，不具備缺失值，此類矩陣的非負(fù)矩陣因式分解問題可以借助常規(guī)的 矩陣迭代運算進行處理；但電子商務(wù)系統(tǒng)中的非負(fù)用戶行為抽取問題，所處理的用戶行為 統(tǒng)計矩陣，通常情況下是極端稀疏的，其中具備大量的缺失值，無法使用傳統(tǒng)的矩陣因式分 解處理，而需要用能作用于稀疏矩陣的非負(fù)隱特征分析處理。但是，現(xiàn)有非負(fù)矩陣隱特征分 析方法，具備收斂速度慢、數(shù)據(jù)還原準(zhǔn)確度低的缺點。
[0005] 因此，如何針對大型電子商務(wù)系統(tǒng)中的、具備大量缺失值的用戶行為統(tǒng)計矩陣，進 行收斂速度快、數(shù)據(jù)還原準(zhǔn)確度高的非負(fù)隱特征分析，從而獲取能夠良好描述用戶行為自 然規(guī)律的用戶特征，是對現(xiàn)代大型電子商務(wù)系統(tǒng)所產(chǎn)生的海量數(shù)據(jù)進行分析所需要處理的 一個關(guān)鍵問題。

【發(fā)明內(nèi)容】

[0006] 為了克服上述現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的是提供一種基于非負(fù)交替方 向變換的用戶特征抽取方法及抽取裝置，本發(fā)明直接作用于用戶行為統(tǒng)計矩陣中的已知數(shù) 據(jù)集合，能夠處理具備大量缺失值的、極端稀疏的用戶行為統(tǒng)計矩陣，收斂速度快，數(shù)據(jù)還 原準(zhǔn)確度高，能夠解決大數(shù)據(jù)處理環(huán)境中的用戶特征抽取問題。
[0007] 為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于非負(fù)交替方向變換的用戶特 征抽取方法，包括以下步驟：
[0008] SI.服務(wù)器對抽取裝置發(fā)出進行用戶特征抽取的指令；
[0009] S2.抽取裝置接收指令并初始化參數(shù)，初始化參數(shù)包括：特征空間維數(shù)f、對偶學(xué) 習(xí)速率n、拉格朗日增強因子λ、用戶特征矩陣X、用戶訓(xùn)練輔助矩陣X_U、X_D*X_C、項目 特征矩陣Y、項目訓(xùn)練輔助矩陣Y_U、Y_D和Y_C、迭代控制變量t、迭代上限n、收斂判定閾值 Ψ·，
[0010] S3.抽取裝置構(gòu)造累積絕對誤差ε (P，Q，X，Υ)，其中P為用戶特征約束矩陣，Q為 項目特征約束矩陣；
[0011] S4.抽取裝置使用約束條件對累積絕對誤差ε (P，Q，X，Y)進行約束，保證矩陣Ρ、 Q的參數(shù)在訓(xùn)練過程中的非負(fù)性；
[0012] S5.抽取裝置構(gòu)造統(tǒng)一損失函數(shù)L(P，Q，X，Y，Γ，K)，其中Γ和K均為對偶參數(shù)；
[0013] S6.抽取裝置判斷迭代訓(xùn)練控制變量t是否已達到上限n，若是，則執(zhí)行步驟S9,若 否，則執(zhí)行步驟S7;
[0014] S7.抽取裝置判斷統(tǒng)一損失函數(shù)L相對于P，Q，X，Y，Γ和K是否在用戶行為統(tǒng)計 矩陣中的已知數(shù)據(jù)集合C上收斂，若是，則執(zhí)行步驟S9,若否，則執(zhí)行步驟S8 ;
[0015] S8.抽取裝置在用戶行為統(tǒng)計矩陣中的已知數(shù)據(jù)集合C中的已知數(shù)據(jù)上對P，Q，X， Υ，Γ和K進行迭代訓(xùn)練，再執(zhí)行步驟S6 ;
[0016] S9.抽取裝置將通過迭代訓(xùn)練獲取的用戶特征矩陣X和項目特征矩陣Y輸出，存儲 至數(shù)據(jù)模塊中的獲取特征存儲單元。
[0017] 本方法中，步驟S2中特征空間維數(shù)f為用戶特征所處特征空間的維度，決定特征 向量的維數(shù)，為正實數(shù)集合內(nèi)的任意正整數(shù)。
[0018] 對偶學(xué)習(xí)速率η為統(tǒng)一損失函數(shù)中，對拉格朗日乘子進行訓(xùn)練的學(xué)習(xí)速率，為區(qū) 間（0.0001,0. 05)內(nèi)的浮點數(shù)。
[0019] 拉格朗日增強因子λ為統(tǒng)一損失函數(shù)中，對約束條件進行規(guī)約表達的因數(shù)，為區(qū) 間（0.01,0. 1)內(nèi)的任意小數(shù)。
[0020] 用戶特征矩陣X為需要抽取的特征，是一個I Al Xf的矩陣，其中A代表裝置的存 儲單元所存儲的用戶集合。X的每一行對應(yīng)一個用戶，X的每一行向量是一個用戶的特征向 量。本發(fā)明實施例中，用戶特征矩陣X中每個元素的初始值設(shè)置為開區(qū)間（0.4,0.8)范圍 內(nèi)的隨機數(shù)。
[0021] 用戶訓(xùn)練輔助矩陣X_u、X_D和X_C為用以輔助迭代訓(xùn)練用戶特征的數(shù)據(jù)結(jié)構(gòu)，均 為I Al Xf的矩陣。
[0022] 項目特征矩陣Y為需要抽取的特征，是一個|B I Xf的矩陣，其中B代表裝置的存 儲單元所存儲的項目集合。Y的每一行對應(yīng)一個項目，Y的每一行向量是全部用戶對一個項 目進行操作的特征向量。
[0023] 項目訓(xùn)練輔助矩陣Y_U、Y_D和Y_C為用以輔助迭代訓(xùn)練用戶特征的數(shù)據(jù)結(jié)構(gòu)，均 為|bI Xf的矩陣。
[0024] 迭代控制變量t為控制特征訓(xùn)練過程的變量，迭代控制變量t初始化為0。
[0025] 迭代上限η為控制訓(xùn)練過程迭代上限的變量，為正實數(shù)集合內(nèi)的任意正整數(shù)。
[0026] 收斂判定閾值P為判斷迭代訓(xùn)練是否已收斂的閾值參數(shù)。
[0027] 本方法直接作用于用戶行為統(tǒng)計矩陣中的已知數(shù)據(jù)集合，能夠處理具備大量缺失 值的、極端稀疏的用戶行為統(tǒng)計矩陣，收斂速度快，數(shù)據(jù)還原準(zhǔn)確度高，能夠處理大數(shù)據(jù)處 理環(huán)境中的用戶特征抽取問題。
[0028] 優(yōu)選的，步驟S3中所述絕對誤差的計算公式為：
[0029]
【主權(quán)項】
1. 一種基于非負(fù)