本公開(kāi)的各個(gè)實(shí)施方式涉及機(jī)器學(xué)習(xí)領(lǐng)域，并且更具體地涉及一種分片線性模型生成系統(tǒng)和生成方法。
背景技術(shù)：
：分片線性模型(例如分層混合專(zhuān)家HME)已經(jīng)廣泛用于許多企業(yè)級(jí)機(jī)器學(xué)習(xí)應(yīng)用中。HME比普通的線性模型更加靈活，而且其保留了利用基于概率規(guī)則對(duì)特征空間進(jìn)行分區(qū)和采用分片局部線性專(zhuān)家的重要優(yōu)點(diǎn)。HME的學(xué)習(xí)過(guò)程包括分區(qū)結(jié)構(gòu)確定以及對(duì)各個(gè)專(zhuān)家(expert)的建模。當(dāng)訓(xùn)練樣本非常嘈雜并且樣本容量不足時(shí)這變得具有挑戰(zhàn)性，并且靈活的HME由于對(duì)訓(xùn)練數(shù)據(jù)集的過(guò)擬合而可能導(dǎo)致很差的泛化性能。在實(shí)際應(yīng)用中，通常存在相關(guān)的機(jī)器學(xué)習(xí)任務(wù)的集合，例如以預(yù)測(cè)社區(qū)中的建筑物的能源需求。一種簡(jiǎn)單的方法是獨(dú)立地解決這些任務(wù)(單任務(wù)學(xué)習(xí)，STL)，而忽略了這些相關(guān)的任務(wù)之間的共性。在多任務(wù)學(xué)習(xí)(MTL)中，通過(guò)利用任務(wù)間合適的共享信息來(lái)協(xié)同地學(xué)習(xí)這些相關(guān)的任務(wù)。協(xié)同地學(xué)習(xí)多個(gè)相關(guān)的任務(wù)有效地增加了每個(gè)任務(wù)的樣本容量，并且因此具有改進(jìn)泛化性能的潛能。多任務(wù)學(xué)習(xí)通過(guò)任務(wù)間共享信息把不同任務(wù)間的樣本協(xié)同處理，以增加樣本的數(shù)量，從而能夠避免它擬合噪聲。然而，當(dāng)前多任務(wù)學(xué)習(xí)技術(shù)主要用于模型結(jié)構(gòu)固定的場(chǎng)景，比如線性回歸，但是針對(duì)諸如HME之類(lèi)的分片線性模型，既要學(xué)習(xí)模型結(jié)構(gòu)，又要學(xué)習(xí)模型參數(shù)，當(dāng)前多任務(wù)學(xué)習(xí)做不到這一點(diǎn)。技術(shù)實(shí)現(xiàn)要素：本公開(kāi)的目的包括提供一種分片線性模型生成系統(tǒng)和生成方法，以至少部分解決現(xiàn)有技術(shù)中的上述問(wèn)題。根據(jù)本公開(kāi)的一個(gè)方面，提供了一種分片線性模型生成系統(tǒng)，包括：獲取裝置，用于獲取多個(gè)任務(wù)的數(shù)據(jù)；第一設(shè)置裝置，用于設(shè)置用于表征所述多個(gè)任務(wù)之間的相關(guān)性的任務(wù)相關(guān)隱變量；第二設(shè)置裝置，用于設(shè)置多個(gè)分片線性模型的模型結(jié)構(gòu)，并且初始化相應(yīng)的模型參數(shù)和分層隱變量；以及模型優(yōu)化裝置，用于基于所述多個(gè)任務(wù)的數(shù)據(jù)、所述任務(wù)相關(guān)隱變量以及所述分層隱變量?jī)?yōu)化所述模型結(jié)構(gòu)和所述模型參數(shù)。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述任務(wù)相關(guān)隱變量用于表征所述多個(gè)任務(wù)中的各個(gè)任務(wù)與所述多個(gè)分片線性模型中的各個(gè)分片線性模型的對(duì)應(yīng)關(guān)系。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述模型結(jié)構(gòu)包括樹(shù)結(jié)構(gòu)。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述系統(tǒng)還包括：分層隱變量?jī)?yōu)化裝置，用于基于所述多個(gè)任務(wù)的數(shù)據(jù)、所述任務(wù)相關(guān)隱變量、所述模型結(jié)構(gòu)和所述模型參數(shù)優(yōu)化所述分層隱變量。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述系統(tǒng)還包括：任務(wù)相關(guān)隱變量?jī)?yōu)化裝置，用于基于所述多個(gè)任務(wù)的數(shù)據(jù)、所述分層隱變量、所述模型結(jié)構(gòu)和所述模型參數(shù)優(yōu)化所述任務(wù)相關(guān)隱變量。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述系統(tǒng)還包括：判定裝置，用于判定所述模型結(jié)構(gòu)和所述模型參數(shù)是否達(dá)到最優(yōu)。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述判定裝置根據(jù)所述模型結(jié)構(gòu)和模型參數(shù)的擬合程度來(lái)判定所述模型結(jié)構(gòu)和所述模型參數(shù)是否達(dá)到最優(yōu)。根據(jù)本公開(kāi)的另一方面，提供了一種分片線性模型生成方法，包括：獲取多個(gè)任務(wù)的數(shù)據(jù)；設(shè)置用于表征所述多個(gè)任務(wù)之間的相關(guān)性的任務(wù)相關(guān)隱變量；設(shè)置多個(gè)分片線性模型的模型結(jié)構(gòu)，并且初始化相應(yīng)的模型參數(shù)和分層隱變量；以及基于所述多個(gè)任務(wù)的數(shù)據(jù)、所述任務(wù)相關(guān)隱變量以及所述分層隱變量?jī)?yōu)化所述模型結(jié)構(gòu)和 所述模型參數(shù)。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述任務(wù)相關(guān)隱變量用于表征所述多個(gè)任務(wù)中的各個(gè)任務(wù)與所述多個(gè)分片線性模型中的各個(gè)分片線性模型的對(duì)應(yīng)關(guān)系。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述模型結(jié)構(gòu)包括樹(shù)結(jié)構(gòu)。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述方法還包括：基于所述多個(gè)任務(wù)的數(shù)據(jù)、所述任務(wù)相關(guān)隱變量、所述模型結(jié)構(gòu)和所述模型參數(shù)優(yōu)化所述分層隱變量。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述方法還包括：基于所述多個(gè)任務(wù)的數(shù)據(jù)、所述分層隱變量、所述模型結(jié)構(gòu)和所述模型參數(shù)優(yōu)化所述任務(wù)相關(guān)隱變量。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，所述方法還包括：判定所述模型結(jié)構(gòu)和所述模型參數(shù)是否達(dá)到最優(yōu)。根據(jù)本公開(kāi)的一個(gè)示例性實(shí)施方式，判定所述模型結(jié)構(gòu)和所述模型參數(shù)是否達(dá)到最優(yōu)包括：根據(jù)所述模型結(jié)構(gòu)和模型參數(shù)的擬合程度來(lái)判定所述模型結(jié)構(gòu)和所述模型參數(shù)是否達(dá)到最優(yōu)。在本公開(kāi)的各個(gè)實(shí)施方式的技術(shù)方案中，由于模型生成過(guò)程中增加了一個(gè)新的隱變量來(lái)表征任務(wù)之間的相關(guān)性，以便輔助分片線性模型的生成，使得能夠利用多個(gè)任務(wù)的數(shù)據(jù)進(jìn)行建模，從而提高了模型生成精度。附圖說(shuō)明當(dāng)結(jié)合附圖閱讀下文對(duì)示范性實(shí)施方式的詳細(xì)描述時(shí)，這些以及其它目的、特征和優(yōu)點(diǎn)將變得顯而易見(jiàn)，在附圖中：圖1示意性地示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施方式的分片線性模型生成方法的流程圖；圖2示意性地示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施方式的分片線性模型生成系統(tǒng)的框圖；以及圖3采用圖形方式示意性地示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施方式 的分片模型生成方法的步驟。具體實(shí)施方式下面將參考附圖中的若干示例性實(shí)施方式來(lái)描述本公開(kāi)的原理和方法。應(yīng)當(dāng)理解，描述這些實(shí)施方式僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實(shí)現(xiàn)本公開(kāi)，而并非以任何方式限制本公開(kāi)的范圍。在描述根據(jù)本公開(kāi)的各個(gè)實(shí)施方式的分片線性模型生成方法和生成系統(tǒng)之前，首先對(duì)在本文中出現(xiàn)的一些技術(shù)概念進(jìn)行說(shuō)明。分片線性模型分片線性模型的先驅(qū)是回歸樹(shù)，在回歸樹(shù)中分區(qū)由規(guī)則鏈指定，并且局部專(zhuān)家是恒定值。盡管回歸樹(shù)的表示是高度可解釋的，但是各個(gè)專(zhuān)家的預(yù)測(cè)能力并不高，并且為了獲得高預(yù)測(cè)性能而可能使得樹(shù)深度趨向于很大。分層混合專(zhuān)家(HME)HME采用分治策略來(lái)構(gòu)建分片模型。它們的樹(shù)狀分區(qū)結(jié)構(gòu)由門(mén)控函數(shù)確定，門(mén)控函數(shù)是概率軟分區(qū)函數(shù)。盡管通過(guò)設(shè)計(jì)門(mén)控函數(shù)，HME可以表達(dá)任何分區(qū)結(jié)構(gòu)，但是在本文中使用規(guī)則鏈(樹(shù)狀)分區(qū)結(jié)構(gòu)作為示例，以使得所學(xué)習(xí)的分區(qū)結(jié)構(gòu)是實(shí)際上可理解的。HME模型被定義如下：p(y|x,θ;γ)=Σj=1EΠi∈ϵjψg(x,i,j)·p(y|x,φj)---(1)]]>其中θ和γ是來(lái)自門(mén)控節(jié)點(diǎn)的參數(shù)，E是專(zhuān)家的數(shù)目，εj是包含從根節(jié)點(diǎn)到第j個(gè)專(zhuān)家節(jié)點(diǎn)的唯一路徑上的門(mén)控節(jié)點(diǎn)的所有索引的索引集。g(x，αi)被稱(chēng)作由αi＝(βi，γi)參數(shù)化的門(mén)控函數(shù)，并且ψg(x，i，j)是x屬于專(zhuān)家j以及i的左子樹(shù)的概率。p(y|x，φj)是具有由參數(shù)化的高斯噪聲的第j個(gè)專(zhuān)家的條件分布。用于混合模型的因式分解漸進(jìn)貝葉斯(FAB)假設(shè)目前具有觀測(cè)數(shù)據(jù)并且zN＝z(1)，...，z(N)，z(n)∈{1，0}C表示對(duì)應(yīng)于xN的隱變量，隱變量指示哪 個(gè)混合分量生成x(n)。這種隱變量模型可以通過(guò)因式分解漸進(jìn)貝葉斯(FAB)推理求解，F(xiàn)AB推理是最近開(kāi)發(fā)的基于因式分解信息準(zhǔn)則(FIC)的貝葉斯近似推理。FIC作為邊際對(duì)數(shù)似然函數(shù)的漸進(jìn)近似被導(dǎo)出為：FICmm=maxqE[logp(xN,zN|θ‾)-Dz2logN-ΣkDk2logΣnzkn]+H(q)---(2)]]>其中q(zN)是zN上的變分分布，并且是模型參數(shù)的最大似然估計(jì)。FICmm中最重要的項(xiàng)是其為FAB推理提供了理論上希望的性質(zhì)，諸如不相干的隱變量的自動(dòng)縮減和參數(shù)可標(biāo)識(shí)性。FAB優(yōu)化了FIC的易控制的下限。該下限相對(duì)于q和θ的交替最大化確保了FIC下限的單調(diào)增加。多任務(wù)學(xué)習(xí)(MTL)機(jī)器學(xué)習(xí)中的MTL的通用范式是最小化處罰經(jīng)驗(yàn)損失：其中w是將要根據(jù)訓(xùn)練樣本估計(jì)的參數(shù)，是訓(xùn)練集上的經(jīng)驗(yàn)損失，并且Ω(w)是對(duì)任務(wù)相關(guān)性進(jìn)行編碼的正則項(xiàng)。對(duì)于任務(wù)相關(guān)性的不同假設(shè)導(dǎo)致不同的正則項(xiàng)。在多任務(wù)學(xué)習(xí)領(lǐng)域中，存在任務(wù)之間使用正則化的模型關(guān)系的許多現(xiàn)有技術(shù)。在下文中，將結(jié)合圖1至圖3所示的示例性實(shí)施例對(duì)本發(fā)明的構(gòu)思進(jìn)行說(shuō)明。在以下描述中將以HME模型作為分片線性模型的示例對(duì)本公開(kāi)的原理進(jìn)行說(shuō)明，然而本公開(kāi)并不限于HME模型，而是可以適用于其它分片線性模型。本公開(kāi)的主旨是利用多任務(wù)學(xué)習(xí)來(lái)解決生成分片線性模型的挑戰(zhàn)性問(wèn)題，其結(jié)合了因式分解漸進(jìn)貝葉斯和多任務(wù)學(xué)習(xí)。首先，假設(shè)任務(wù)的子集遵循相同分布。在本公開(kāi)的上下文中，多任務(wù)學(xué)習(xí)旨在找出隸屬于相同分布的任務(wù)的集群，并且利用分片線性模型(例如HME模型)擬合每個(gè)集群。相同集群中的任務(wù)可以利用彼此的強(qiáng)度來(lái)提升學(xué)習(xí)性能。圖1示意性地示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施方式的分片線性模 型生成方法的流程圖。如圖1所示，分片線性模型生成方法總體上可以包括：在101，獲取多個(gè)任務(wù)的數(shù)據(jù)；在102，設(shè)置用于表征多個(gè)任務(wù)之間的相關(guān)性的任務(wù)相關(guān)隱變量；在103，設(shè)置多個(gè)分片線性模型的模型結(jié)構(gòu)，并且初始化其模型參數(shù)和分層隱變量；以及在106，基于多個(gè)任務(wù)的數(shù)據(jù)、任務(wù)相關(guān)隱變量以及分層隱變量?jī)?yōu)化模型結(jié)構(gòu)和模型參數(shù)。下面將對(duì)各個(gè)步驟進(jìn)行具體描述。在步驟101中，可以獲取N個(gè)任務(wù)的數(shù)據(jù)。在步驟102中，設(shè)置用于表征多個(gè)任務(wù)之間的相關(guān)性的任務(wù)相關(guān)隱變量。作為示例，任務(wù)相關(guān)隱變量用于表征多個(gè)任務(wù)中的各個(gè)任務(wù)與多個(gè)分片線性模型中的各個(gè)分片線性模型的對(duì)應(yīng)關(guān)系。也就是說(shuō)可以采用每個(gè)任務(wù)屬于某個(gè)模型的概率來(lái)表征任務(wù)之間的相關(guān)性。如果兩個(gè)任務(wù)屬于同一模型，則認(rèn)為這兩個(gè)任務(wù)是相關(guān)的。在步驟103中，設(shè)置多個(gè)分片線性模型的模型結(jié)構(gòu)，并且初始化其模型參數(shù)和分層隱變量。作為示例，該模型結(jié)構(gòu)可以是樹(shù)結(jié)構(gòu)，并且上述初始化過(guò)程可以隨機(jī)進(jìn)行。根據(jù)一個(gè)示例性實(shí)施方式，分片線性模型生成方法可以包括在步驟103之后并且在步驟106之前的步驟104：基于多個(gè)任務(wù)的數(shù)據(jù)、任務(wù)相關(guān)隱變量、模型結(jié)構(gòu)和模型參數(shù)優(yōu)化分層隱變量。由于在步驟103中隨機(jī)初始化了分層隱變量，因此在該步驟中可以對(duì)其進(jìn)行優(yōu)化。分層隱變量用于說(shuō)明如何劃分?jǐn)?shù)據(jù)，繼而將特征空間劃分成片，每片用局部專(zhuān)家表述。分層隱變量劃片的過(guò)程不是按特征劃分，而是按樣本劃分，即哪些樣本一起放在一個(gè)片中，哪些樣本放在另一片中。在特定示例中，可以根據(jù)概率對(duì)每個(gè)樣本進(jìn)行劃分。具體的優(yōu)化方法可以采用在下文中將要描述的等式9所示的過(guò)程。根據(jù)一個(gè)示例性實(shí)施方式，分片線性模型生成方法可以包括在步驟104之后并且在步驟106之前的步驟105：基于多個(gè)任務(wù)的數(shù)據(jù)、分層隱變量、模型結(jié)構(gòu)和模型參數(shù)優(yōu)化任務(wù)相關(guān)隱變量。由于在步驟102中設(shè)置的任務(wù)相關(guān)隱變量是經(jīng)隨機(jī)初始化而產(chǎn)生的，因此可以對(duì)其進(jìn)行優(yōu)化。在這一步驟中，可以采用在步驟104中經(jīng)過(guò)優(yōu)化 的分層隱變量，并且結(jié)合多個(gè)任務(wù)的數(shù)據(jù)、模型結(jié)構(gòu)和模型參數(shù)對(duì)任務(wù)相關(guān)隱變量進(jìn)行優(yōu)化。具體的優(yōu)化方法可以采用在下文中將要描述的等式8所示的過(guò)程。根據(jù)一個(gè)示例性實(shí)施方式，在步驟106中，可以利用在步驟104中經(jīng)過(guò)優(yōu)化的分層隱變量和在步驟105中經(jīng)過(guò)優(yōu)化的任務(wù)相關(guān)隱變量，并且結(jié)合多個(gè)任務(wù)的數(shù)據(jù)對(duì)模型結(jié)構(gòu)和模型參數(shù)進(jìn)行優(yōu)化。具體的優(yōu)化方法可以采用在下文中將要描述的等式10所示的過(guò)程。根據(jù)一個(gè)示例性實(shí)施方式，分片線性模型生成方法可以包括在步驟106之后的步驟107：判定模型性結(jié)構(gòu)和模型參數(shù)是否達(dá)到最優(yōu)，如果是，則執(zhí)行輸出得到的分片線性模型的步驟108，如果否，則返回執(zhí)行步驟104，繼續(xù)對(duì)模型結(jié)構(gòu)和模型參數(shù)進(jìn)行優(yōu)化。上述判定的評(píng)價(jià)指標(biāo)可以是模型與數(shù)據(jù)的擬合程度，該擬合程度不可能無(wú)上限地增長(zhǎng)，而是存在一個(gè)上限，在遞增過(guò)程中增到一定程度后繼續(xù)優(yōu)化時(shí)的增量很小。增量足夠小時(shí)認(rèn)為已經(jīng)得到最優(yōu)模型，因而停止優(yōu)化，并且在步驟108中輸出得到的分片線性模型。在上文中參照?qǐng)D1中所示的特定實(shí)施方式描述了根據(jù)本公開(kāi)的分片線性模型生成原理。然而本領(lǐng)域技術(shù)人員能夠理解的是，根據(jù)本公開(kāi)的分片線性模型生成方法并不限于上述具體步驟，而是以權(quán)利要求所限定的范圍為準(zhǔn)。根據(jù)不同的需求，本領(lǐng)域技術(shù)人員容易想到省略或添加一個(gè)或多個(gè)步驟。接下來(lái)，將根據(jù)特定示例來(lái)闡釋可以用于步驟104至106中的優(yōu)化方法。首先，若干符號(hào)首先定義如下。N:任務(wù)的數(shù)目L:每個(gè)任務(wù)中的樣本的數(shù)目xNL,yNL:分別為訓(xùn)練數(shù)據(jù)集的特征和標(biāo)記D:用于生成數(shù)據(jù)的真實(shí)模型M:混合的HME模型的數(shù)目z:從任務(wù)到模型的分配向量ζ:從樣本到HME的專(zhuān)家的分配向量多任務(wù)學(xué)習(xí)考慮任務(wù)的聚類(lèi)(由z指示)以及每個(gè)任務(wù)中的樣本的聚類(lèi)(由ζ指示)，并且主要興趣點(diǎn)是邊際似然估計(jì)p(yNL|xNL,D)。因此，導(dǎo)出對(duì)q(zN)和q(ζNL)的邊際對(duì)數(shù)似然函數(shù)的下限如下。logp(yNL|xNL,D)≥ΣzN,ζNLq(zN,ζNL)[logp(yNL,zN,ζNL|xNL,D)-logq(zN,ζNL)]=:VLB(q,xNL,yNL,D)---(4)]]>可以確保maxq{VLB(q,xNL,yNL,D})與logp(yNL|xNL,D)一致。接下來(lái)描述因式分解漸進(jìn)近似。假設(shè)任務(wù)集群之間以及每個(gè)任務(wù)集群中的樣本集群之間相互獨(dú)立，并且隨后利用拉普拉斯方法近似得到因式分解信息準(zhǔn)則(FIC)。FICsmtl(yNL,xNL,D)=maxq{J(q,ρ,yNL,xNL)}J(q,ρ,yNL,xNL)=H(q(zN))+ΣzNq(zN)logp(zN|α)+Σc=1MΣzcN,ζcNLΠn=1Nq(znc){q(ζcNL)[logp(yNL,ζcNL|xNL,znc,ρc)-Σi=1Gc(Dβci2logngi)-Σj=1Ec(Dφcj2lognej)]+H(q(ζcNL))}---(5)]]>其中ρ＝(α,ρ1,...,ρM)，α是用于每個(gè)集群的混合比率向量，并且ρc＝(βc,γc,φc)是用于第c個(gè)HEM模型的參數(shù)，c＝1,...,M。ngi=Σn=1NΣl=1LΣj∈Giznc·ζcjnl,]]>nej=Σn=1NΣl=1Lznc·ζcjnl.]]>在上述過(guò)程中，僅根據(jù)邊際對(duì)數(shù)似然函數(shù)的近似來(lái)判斷FIC。接下來(lái)，描述可以用于在上文中所述的分片線性模型生成方法的FAB算法FAB算法在實(shí)踐中使FIC的漸進(jìn)地一致的下限最大化。下限被推導(dǎo)如下：FICsmtl(yNL,xNL,D)≥H(q(zN))+ΣzNq(zN)logp(zN|α)+Σc=1MΣzcNζcNLΠn=1Nq(znc){q(ζcNL)[logp(yNL,ζcNL|xNL,znc,ρc)-Σi=1Gc(Dβci2L(ngi,qngi))-Σj=1Ec(Dφcj2L(nej,qnej))]+H(q(ζcNL))}=:Ksmtl(q,q~,ρ,yNL,xNL)---(6)]]>其中，L(a,b)≡logb+(a-b)/b；qngi和qnei是ngi和nei的近似，具有新參數(shù)(分布)qngi=Σn=1NΣl=1LΣj∈Giq~(znc)·q~(ζcjnl),]]>qnej=Σn=1NΣl=1Lq~(znc)·q~(ζcjnl)]]>隨后，得到以下優(yōu)化問(wèn)題：M*,q*,q~*,ρ*=argmaxM,q,q~,ρKsmtl(q,q~,ρ,yNL,xNL)---(7)]]>FAB算法利用E步驟和M步驟相對(duì)于q和θ交替最大化。E步驟優(yōu)化變分分布q如下：q(t)(znc)∝αc(t-1)exp{Σl=1LΣj=1Ecq(t-1)(ζcjnl)[Khme(t-1)(n,c)]}---(8)]]>q(t)(ζcjnl)∝Πi∈ϵjψg(xnl,i,j)p(ynl|xnl,φcj(t-1))exp{-Σi∈ϵjG\root12Dβciqngi-12Dφcjqnej},---(9)]]>其中ψg(xnl,i,j)是xnl屬于由(βci,γci)參數(shù)化的給定HME模型的專(zhuān)家j以及i的剩余子樹(shù)的概率，并且Khme(n,c)=Σi∈ϵjlogψg(xnl,i,j)+logp(ynl|xnl,φcj)-logq(ζcjnl)-Σi∈ϵjG\root12Dβciqngi-12Dφcjqnej.]]>式8可以用于實(shí)現(xiàn)在上文中所描述的步驟105中對(duì)任務(wù)相關(guān)隱變量的優(yōu)化。式9可以用于實(shí)現(xiàn)在上文中所描述的步驟104中對(duì)分層隱變量的優(yōu)化。M步驟優(yōu)化參數(shù)如下：αc(t)=Σn=1Nq(t)(znc)/N]]>γci(t),βci(t)=argmaxγci,βci{Σn=1NΣl=1LΣj∈Giq(t)(znc)·q(t)(ζcjnl)·logψg(xnl,i,j)-Dβci2log(qngi(t))}]]>φcj(t)=argmaxScj,φcj{Σn=1NΣl=1Lq(t)(znc)·q(t)(ζcjnl)·logp(ynl|xnl,φcj)-Dφcj2log(qnej(t))}---(10)]]>式10可以用于實(shí)現(xiàn)在上文中所描述的步驟106中對(duì)模型結(jié)構(gòu)和模型參數(shù)的優(yōu)化。圖2示意性地示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施方式的分片線性模型生成系統(tǒng)的框圖。如圖2所示，分片線性模型生成系統(tǒng)總體上可以包括：獲取裝置201，用于獲取多個(gè)任務(wù)的數(shù)據(jù)；第一設(shè)置裝置202，用于設(shè)置用于表征多個(gè)任務(wù)之間的相關(guān)性的任務(wù)相關(guān)隱變量；第二設(shè)置裝置203，用于設(shè)置多個(gè)分片線性模型的模型結(jié)構(gòu)，并且初始化其模型參數(shù)和分層隱變量；以及模型優(yōu)化裝置206，用于基于多個(gè)任務(wù)的數(shù)據(jù)、任務(wù)相關(guān)隱變量以及分層隱變量?jī)?yōu)化模型結(jié)構(gòu)和模型參數(shù)。下面將對(duì)各個(gè)模塊進(jìn)行具體描述。在獲取裝置201中，可以獲取N個(gè)任務(wù)的數(shù)據(jù)。在第一設(shè)置裝置202中，設(shè)置用于表征多個(gè)任務(wù)之間的相關(guān)性的任務(wù)相關(guān)隱變量。作為示例，任務(wù)相關(guān)隱變量用于表征多個(gè)任務(wù)中的各個(gè)任務(wù)與多個(gè)分片線性模型中的各個(gè)分片線性模型的對(duì)應(yīng)關(guān)系。也就是說(shuō)可以采用每個(gè)任務(wù)屬于某個(gè)模型的概率來(lái)表征任務(wù)之間的相關(guān)性。如果兩個(gè)任務(wù)屬于同一模型，則認(rèn)為這兩個(gè)任務(wù)是相關(guān)的。在第二設(shè)置裝置203中，設(shè)置多個(gè)分片線性模型的模型結(jié)構(gòu)，并且初始化其模型參數(shù)和分層隱變量。作為示例，該模型結(jié)構(gòu)可以是樹(shù)結(jié)構(gòu)，并且上述初始化過(guò)程可以隨機(jī)進(jìn)行。根據(jù)一個(gè)示例性實(shí)施方式，分片線性模型生成系統(tǒng)還可以包括 分層隱變量?jī)?yōu)化裝置204，用于基于多個(gè)任務(wù)的數(shù)據(jù)、任務(wù)相關(guān)隱變量、模型結(jié)構(gòu)和模型參數(shù)優(yōu)化分層隱變量。由于在第二設(shè)置裝置203中隨機(jī)初始化了分層隱變量，因此可以采用分層隱變量?jī)?yōu)化裝置204對(duì)其進(jìn)行優(yōu)化。分層隱變量用于說(shuō)明如何劃分?jǐn)?shù)據(jù)，繼而將特征空間劃分成片，每片用局部專(zhuān)家表述。分層隱變量劃片的過(guò)程不是按特征劃分，而是按樣本劃分，即哪些樣本一起放在一個(gè)片中，哪些樣本放在另一片中。在特定示例中，可以根據(jù)概率對(duì)每個(gè)樣本進(jìn)行劃分。具體的優(yōu)化方法可以采用在上文中描述的等式9所示的過(guò)程。根據(jù)一個(gè)示例性實(shí)施方式，分片線性模型生成系統(tǒng)還可以包括任務(wù)相關(guān)隱變量?jī)?yōu)化裝置205，用于基于多個(gè)任務(wù)的數(shù)據(jù)、分層隱變量、模型結(jié)構(gòu)和模型參數(shù)優(yōu)化任務(wù)相關(guān)隱變量。由于在第一設(shè)置裝置202中設(shè)置的任務(wù)相關(guān)隱變量是經(jīng)隨機(jī)初始化而產(chǎn)生的，因此可以對(duì)其進(jìn)行優(yōu)化。在任務(wù)相關(guān)隱變量?jī)?yōu)化裝置205中，可以采用在分層隱變量?jī)?yōu)化裝置204中經(jīng)過(guò)優(yōu)化的分層隱變量，并且結(jié)合多個(gè)任務(wù)的數(shù)據(jù)、模型結(jié)構(gòu)和模型參數(shù)對(duì)任務(wù)相關(guān)隱變量進(jìn)行優(yōu)化。具體的優(yōu)化方法可以采用在上文中描述的等式8所示的過(guò)程。根據(jù)一個(gè)示例性實(shí)施方式，在模型優(yōu)化裝置206中，可以利用在分層隱變量?jī)?yōu)化裝置204中經(jīng)過(guò)優(yōu)化的分層隱變量和在任務(wù)相關(guān)隱變量?jī)?yōu)化裝置205中經(jīng)過(guò)優(yōu)化的任務(wù)相關(guān)隱變量，并且結(jié)合多個(gè)任務(wù)的數(shù)據(jù)對(duì)模型結(jié)構(gòu)和模型參數(shù)進(jìn)行優(yōu)化。具體的優(yōu)化方法可以采用在上文中描述的等式10所示的過(guò)程。根據(jù)一個(gè)示例性實(shí)施方式，分片線性模型生成系統(tǒng)還可以包括判定裝置207，用于判定模型優(yōu)化裝置206輸出的模型性結(jié)構(gòu)和模型參數(shù)是否達(dá)到最優(yōu)，如果是，則輸出裝置208將輸出得到的分片線性模型，如果否，則分層隱變量?jī)?yōu)化裝置204、任務(wù)相關(guān)隱變量?jī)?yōu)化裝置205和模型優(yōu)化裝置206繼續(xù)對(duì)模型結(jié)構(gòu)和模型參數(shù)進(jìn)行優(yōu)化。上述判定的評(píng)價(jià)指標(biāo)可以是模型與數(shù)據(jù)的擬合程度，該擬合程度不可能無(wú)上限地增長(zhǎng)，而是存在一個(gè)上限，在遞增過(guò)程中增到一定程度后繼續(xù)優(yōu)化時(shí)的增量很小。增量足夠小時(shí)認(rèn)為已經(jīng)得到最優(yōu)模型， 因而停止優(yōu)化，并且輸出裝置208輸出得到的分片線性模型。圖2中所示的分片線性模型生成系統(tǒng)對(duì)應(yīng)于圖1中所示的分片線性模型生成方法。因此在上文中結(jié)合圖1對(duì)分片線性模型生成方法的描述同樣適用于圖2中所示的分片線性模型生成系統(tǒng)，在此將不再贅述。圖3采用圖形方式示意性地示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施方式的分片模型生成方法的步驟。如圖3所示，首先，在上面的圖中示出了獲取多個(gè)任務(wù)的數(shù)據(jù)T1、T2…TN，其中每個(gè)任務(wù)的數(shù)據(jù)均表示為一些離散數(shù)據(jù)點(diǎn)。隨后，在中間的圖中，采用根據(jù)圖1中所示的優(yōu)化步驟進(jìn)行建模?？梢钥闯?，每個(gè)任務(wù)可以用于對(duì)多個(gè)模型進(jìn)行建模，例如T1、T2、T3和T4可以分別對(duì)模型HME1、模型HME2和模型HME3進(jìn)行建模。最后，在下面的圖中輸出了多個(gè)經(jīng)優(yōu)化的模型，例如分層混合專(zhuān)家模型HME(T1)、HME(T2)…HME(TN)。根據(jù)本發(fā)明，由于模型生成過(guò)程中增加了一個(gè)新的隱變量來(lái)表征任務(wù)之間的相關(guān)性，以便輔助分片線性模型的生成，使得能夠利用多個(gè)任務(wù)的數(shù)據(jù)進(jìn)行建模，從而提高了模型生成精度。應(yīng)當(dāng)注意，本發(fā)明的實(shí)施方式可以通過(guò)硬件、軟件或者軟件和硬件的結(jié)合來(lái)實(shí)現(xiàn)。硬件部分可以利用專(zhuān)用邏輯來(lái)實(shí)現(xiàn)；軟件部分可以存儲(chǔ)在存儲(chǔ)器中，由適當(dāng)?shù)闹噶顖?zhí)行系統(tǒng)，例如微處理器或者專(zhuān)用設(shè)計(jì)硬件來(lái)執(zhí)行。本領(lǐng)域的普通技術(shù)人員可以理解上述的設(shè)備和方法可以使用計(jì)算機(jī)可執(zhí)行指令和/或包含在處理器控制代碼中來(lái)實(shí)現(xiàn)，例如在諸如磁盤(pán)、CD或DVD-ROM的載體介質(zhì)、諸如只讀存儲(chǔ)器(固件)的可編程的存儲(chǔ)器或者諸如光學(xué)或電子信號(hào)載體的數(shù)據(jù)載體上提供了這樣的代碼。本發(fā)明的設(shè)備及其模塊可以由諸如超大規(guī)模集成電路或門(mén)陣列、諸如邏輯芯片、晶體管等的半導(dǎo)體、或者諸如現(xiàn)場(chǎng)可編程門(mén)陣列、可編程邏輯設(shè)備等的可編程硬件設(shè)備的硬件電路實(shí)現(xiàn)，也可以用由各種類(lèi)型的處理器執(zhí)行的軟件實(shí)現(xiàn)，也可以由上述硬件電路和軟件的結(jié)合例如固件來(lái)實(shí)現(xiàn)。此外，盡管在附圖中以特定順序描述了本發(fā)明方法的操作，但 是，這并非要求或者暗示必須按照該特定順序來(lái)執(zhí)行這些操作，或是必須執(zhí)行全部所示的操作才能實(shí)現(xiàn)期望的結(jié)果。相反，流程圖中描繪的步驟可以改變執(zhí)行順序。附加地或備選地，可以省略某些步驟，將多個(gè)步驟合并為一個(gè)步驟執(zhí)行，和/或?qū)⒁粋€(gè)步驟分解為多個(gè)步驟執(zhí)行。雖然已經(jīng)參考若干具體實(shí)施方式描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明并不限于所公開(kāi)的具體實(shí)施方式。本發(fā)明旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)所包括的各種修改和等同布置。所附權(quán)利要求的范圍符合最寬泛的解釋?zhuān)瑥亩羞@樣的修改及等同結(jié)構(gòu)和功能。當(dāng)前第1頁(yè)1 2 3