一種深層模型處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種深層模型處理方法及裝置。
【背景技術(shù)】
[0002]在機(jī)器學(xué)習(xí)領(lǐng)域中，通過(guò)構(gòu)建并訓(xùn)練模型來(lái)獲取一個(gè)較好的模型，從而用于對(duì)目標(biāo)事件進(jìn)行預(yù)測(cè)。其中，模型可以分為兩大類，一類是淺層模型，另一類是深層模型。淺層模型直接由輸入層和輸出層構(gòu)成，而深層模型由輸入層、若干個(gè)隱藏層和輸出層構(gòu)成，深層模型在模型表達(dá)能力上要優(yōu)于淺層模型。
[0003]深層模型的訓(xùn)練過(guò)程主要是多次迭代優(yōu)化算法，其中每個(gè)迭代過(guò)程主要包括:將模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，然后隨機(jī)取一個(gè)或者一批樣本，根據(jù)當(dāng)前模型的狀態(tài)，給出模型對(duì)該樣本的預(yù)測(cè)，并根據(jù)預(yù)測(cè)值和樣本的期望輸出，計(jì)算如何調(diào)整模型中各層節(jié)點(diǎn)的輸入權(quán)重值。而經(jīng)過(guò)眾多的實(shí)驗(yàn)驗(yàn)證，深層模型的初始化方法對(duì)訓(xùn)練出的模型質(zhì)量和訓(xùn)練收斂速度都有重要的影響。
[0004]現(xiàn)有的深層模型初始化方法一般是隨機(jī)初始化，也即按照一定的隨機(jī)算法，確定深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值。本案發(fā)明人通過(guò)研宄發(fā)現(xiàn)，現(xiàn)有的隨機(jī)初始化算法所確定的初步深層模型質(zhì)量參差不齊，且大部分情況下的初步深層模型質(zhì)量是非常差的，需要經(jīng)過(guò)后續(xù)很多次的優(yōu)化迭代，才能夠訓(xùn)練出比較好的深層模型。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本申請(qǐng)?zhí)峁┝艘环N深層模型處理方法及裝置，用于解決現(xiàn)有隨機(jī)初始化方法得到的初步深層模型質(zhì)量差，后續(xù)優(yōu)化迭代耗時(shí)長(zhǎng)的問題。
[0006]為了實(shí)現(xiàn)上述目的，現(xiàn)提出的方案如下:
[0007]一種深層模型處理方法，包括:
[0008]獲取針對(duì)目標(biāo)事件所構(gòu)建并訓(xùn)練的淺層模型；
[0009]利用所述淺層模型的輸入特征及輸入權(quán)重值，構(gòu)建深層模型的輸入層；
[0010]確定所述深層模型的隱層個(gè)數(shù)及各隱層的節(jié)點(diǎn)個(gè)數(shù)；
[0011]對(duì)所述深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，以使所述深層模型的輸出層所輸出的結(jié)果與所述淺層模型的輸出結(jié)果相同或者接近。
[0012]一種深層模型處理裝置，包括:
[0013]淺層模型獲取單元，用于獲取針對(duì)目標(biāo)事件所構(gòu)建的淺層模型；
[0014]輸入層構(gòu)建單元，用于利用所述淺層模型的輸入特征及輸入權(quán)重值，構(gòu)建深層模型的輸入層；
[0015]隱層確定單元，用于確定所述深層模型的隱層個(gè)數(shù)及各隱層的節(jié)點(diǎn)個(gè)數(shù)；
[0016]權(quán)重初始化單元，用于對(duì)所述深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，以使所述深層模型的輸出層所輸出的結(jié)果與所述淺層模型的輸出結(jié)果相同或者接近。
[0017]從上述的技術(shù)方案可以看出，本申請(qǐng)實(shí)施例提供的深層模型處理方法，首先獲取針對(duì)目標(biāo)事件所構(gòu)建并訓(xùn)練的淺層模型，并利用所述淺層模型的輸入特征及輸入權(quán)重值，構(gòu)建深層模型的輸入層，進(jìn)一步確定深層模型的隱層個(gè)數(shù)及各隱層的節(jié)點(diǎn)個(gè)數(shù)，對(duì)深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，以使所述深層模型的輸出層所輸出的結(jié)果與淺層模型的輸出結(jié)果相同或者接近。本申請(qǐng)利用淺層模型結(jié)構(gòu)來(lái)構(gòu)建深層模型的輸入層，并通過(guò)對(duì)深層模型各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，使深層模型輸出結(jié)果與淺層模型輸出結(jié)果相同或者相近，從而借鑒了淺層模型基于訓(xùn)練數(shù)據(jù)所學(xué)到的先驗(yàn)知識(shí)，使得初始化后的初步深層模型的質(zhì)量與已訓(xùn)練完畢的淺層模型的質(zhì)量相同或者相近，后續(xù)更加容易訓(xùn)練出高質(zhì)量的深層模型。
[0018]可以理解的是，本申請(qǐng)給出了深層模型初始化的方向，相比于現(xiàn)有隨機(jī)無(wú)方向的初始化方法，其得到的深層模型質(zhì)量更高。
【附圖說(shuō)明】
[0019]為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0020]圖1為本申請(qǐng)實(shí)施例公開的一種深層模型處理方法流程圖；
[0021]圖2為本申請(qǐng)實(shí)施例公開的另一種深層模型處理方法流程圖；
[0022]圖3為本申請(qǐng)實(shí)施例公開的一種深層模型輸入層節(jié)點(diǎn)與淺層模型輸入特征一一對(duì)應(yīng)的模型結(jié)構(gòu)示意圖；
[0023]圖4為本申請(qǐng)實(shí)施例公開的一種利用淺層模型的輸入權(quán)重值，對(duì)輸入層各節(jié)點(diǎn)進(jìn)行預(yù)處理的方法流程圖；
[0024]圖5為本申請(qǐng)實(shí)施例公開的一種深層模型輸入層節(jié)點(diǎn)預(yù)處理結(jié)果示意圖；
[0025]圖6為本申請(qǐng)實(shí)施例公開的另一種利用淺層模型的輸入權(quán)重值，對(duì)輸入層各節(jié)點(diǎn)進(jìn)行預(yù)處理的方法流程圖；
[0026]圖7為本申請(qǐng)實(shí)施例公開的另一種深層模型輸入層節(jié)點(diǎn)預(yù)處理結(jié)果示意圖；
[0027]圖8為本申請(qǐng)實(shí)施例公開的一種深層模型權(quán)重初始化結(jié)果示意圖；
[0028]圖9為本申請(qǐng)實(shí)施例公開的另一種深層模型權(quán)重初始化結(jié)果示意圖；
[0029]圖10為本申請(qǐng)實(shí)施例公開的一種深層模型處理裝置結(jié)構(gòu)示意圖；
[0030]圖11為本申請(qǐng)實(shí)施例公開的一種服務(wù)器硬件結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0031]下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。
[0032]參見圖1，圖1為本申請(qǐng)實(shí)施例公開的一種深層模型處理方法流程圖。
[0033]如圖1所示，該方法包括:
[0034]步驟S100、獲取針對(duì)目標(biāo)事件所構(gòu)建并訓(xùn)練的淺層模型；
[0035]這里，淺層模型可以是他人針對(duì)目標(biāo)事件已經(jīng)構(gòu)建并訓(xùn)練好的淺層模型。本申請(qǐng)可以直接獲取已有的淺層模型。
[0036]以目標(biāo)事件為廣告點(diǎn)擊率預(yù)估為例，現(xiàn)有技術(shù)中已經(jīng)存在的淺層模型有邏輯回歸模型等，本申請(qǐng)可以直接獲取。
[0037]步驟S110、利用所述淺層模型的輸入特征及輸入權(quán)重值，構(gòu)建深層模型的輸入層；
[0038]具體地，構(gòu)建深層模型的輸入層可以包括確定輸入層的節(jié)點(diǎn)個(gè)數(shù)以及輸入層如何利用淺層模型的輸入權(quán)重值等。有關(guān)構(gòu)建深層模型輸入層的具體過(guò)程，可以參見下文具體介紹。
[0039]步驟S120、確定所述深層模型的隱層個(gè)數(shù)及各隱層的節(jié)點(diǎn)個(gè)數(shù)；
[0040]具體地，對(duì)于隱層個(gè)數(shù)以及各個(gè)隱層的節(jié)點(diǎn)個(gè)數(shù)，用戶可以任意進(jìn)行設(shè)定?？梢岳斫獾氖?，對(duì)于深層模型而言，其隱層個(gè)數(shù)至少為一個(gè)，否則將會(huì)變成淺層模型。需要說(shuō)明的是，某些情況下對(duì)僅包含一個(gè)隱層的模型也認(rèn)為是淺層模型，而本文為了描述方便，忽略這種情況。
[0041]步驟S130、對(duì)所述深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，以使所述深層模型的輸出層所輸出的結(jié)果與所述淺層模型的輸出結(jié)果相同或者接近。
[0042]其中，對(duì)于某一層中的某一個(gè)節(jié)點(diǎn)來(lái)說(shuō)，其輸入權(quán)重值包括當(dāng)前層的下一層中各個(gè)節(jié)點(diǎn)與當(dāng)前節(jié)點(diǎn)的連接權(quán)重值。
[0043]可以理解的是，當(dāng)深層模型的輸出結(jié)果與淺層模型的輸出結(jié)果相同時(shí)，其對(duì)應(yīng)的初始化方式是最優(yōu)的方式，初始化得到的初步深層模型的起點(diǎn)即為淺層模型。而考慮到，當(dāng)深層模型的輸出結(jié)果趨近于淺層模型的輸出結(jié)果時(shí)，對(duì)應(yīng)的初始化方式雖然不如前一種初始化方式好，但是相比于現(xiàn)有技術(shù)無(wú)方向的隨機(jī)初始化方法，其初始化所得的深層模型也優(yōu)于隨機(jī)初始化所得的深層模型。
[0044]本申請(qǐng)實(shí)施例提供的深層模型處理方法，首先獲取針對(duì)目標(biāo)事件所構(gòu)建并訓(xùn)練的淺層模型，并利用所述淺層模型的輸入特征及輸入權(quán)重值，構(gòu)建深層模型的輸入層，進(jìn)一步確定深層模型的隱層個(gè)數(shù)及各隱層的節(jié)點(diǎn)個(gè)數(shù)，對(duì)深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，以使所述深層模型的輸出層所輸出的結(jié)果與淺層模型的輸出結(jié)果相同或者接近。本申請(qǐng)利用淺層模型結(jié)構(gòu)來(lái)構(gòu)建深層模型的輸入層，并通過(guò)對(duì)深層模型各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，使深層模型輸出結(jié)果與淺層模型輸出結(jié)果相同或者相近，從而借鑒了淺層模型基于訓(xùn)練數(shù)據(jù)所學(xué)到的先驗(yàn)知識(shí)，使得初始化后的初步深層模型的質(zhì)量與已訓(xùn)練完畢的淺層模型的質(zhì)量相同或者相近，后續(xù)更加容易訓(xùn)練出高質(zhì)量的深層模型。
[0045]可以理解的是，本申請(qǐng)給出了深層模型初始化的方向，相比于現(xiàn)有隨機(jī)無(wú)方向的初始化方法，其得到的深層模型質(zhì)量更高。
[0046]參見圖2，圖2為本申請(qǐng)實(shí)施例公開的另一種深層模型處理方法流程圖。
[0047]如圖2所示，該方法包括:
[0048]步驟S200、獲取針對(duì)目標(biāo)事件所構(gòu)建并訓(xùn)練的淺層模型；
[0049]這里，淺層模型可以是他人針對(duì)目標(biāo)事件已經(jīng)構(gòu)建并訓(xùn)練好的淺層模型。本申請(qǐng)可以直接獲取已有的淺層模型。
[0050]步驟S210、依據(jù)淺層模型輸入特征，確定深層模型的輸入層節(jié)點(diǎn)個(gè)數(shù)；
[0051]步驟S220、利用淺層模型的輸入權(quán)重值，對(duì)輸入層各節(jié)點(diǎn)進(jìn)行預(yù)處理；
[0052]步驟S230、確定所述深層模型的隱層個(gè)數(shù)及各隱層的節(jié)點(diǎn)個(gè)數(shù)；
[0053]具體地，對(duì)于隱層個(gè)數(shù)以及各個(gè)隱層的節(jié)點(diǎn)個(gè)數(shù)，用戶可以任意進(jìn)行設(shè)定?？梢岳斫獾氖牵瑢?duì)于深層模型而言，其隱層個(gè)數(shù)至少為一個(gè)，否則將會(huì)變成淺層模型。
[0054]步驟S240、對(duì)所述深層模型中各層節(jié)點(diǎn)的輸入權(quán)重值進(jìn)行初始化，以使所述深層模型的輸出層所輸出的結(jié)果與所述淺層模型的輸出結(jié)果相同或者接近。
[0