分級潛在變量模型估計設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種用于估計用于多變元數(shù)據(jù)的分級潛在變量模型的分級潛在變量 模型估計設(shè)備和分級潛在變量模型估計方法，W及一種具有其上記錄的程序的計算機(jī)可讀 記錄介質(zhì)，該程序用于估計用于多變元數(shù)據(jù)的分級潛在變量模型。
【背景技術(shù)】
[0002] W從汽車、商店的銷售表現(xiàn)、電力需求歷史等獲取的傳感器數(shù)據(jù)為代表的數(shù)據(jù)是 根據(jù)各種因素而被觀測和累計的數(shù)據(jù)。例如，從汽車獲取的傳感器數(shù)據(jù)根據(jù)駕駛模式而變 化。因此，數(shù)據(jù)被累計作為并非從一個因素、而是從各種因素產(chǎn)生的觀測值。
[0003] 對從其產(chǎn)生該樣的數(shù)據(jù)的因素的分析可W被應(yīng)用于工業(yè)上重要的情形。作為示 例，分析汽車的故障原因支持對汽車的快速修理。作為另一示例，分析在銷售與天氣和/或 當(dāng)天時間之間的相關(guān)性支持減少脫銷或者積壓。作為又一示例，識別電力需求模式支持防 止電力過量或者短缺。
[0004] 另外，如果有可能分析如何進(jìn)行在多個因素之間的切換，則可W通過組合為每個 因素而獲得的知識來執(zhí)行預(yù)測。此外，它們的切換規(guī)則也可W被用作為用于營銷的知識。該 樣的分析因此適用于更復(fù)雜的情形。
[0005] 為了在逐個因素的基礎(chǔ)上分離從多個因素產(chǎn)生的W上提到的數(shù)據(jù)，通常在建模中 使用混合潛在變量模型。作為包括W上提到的切換規(guī)則的模型，提出了分級潛在變量模型 (例如，參見非專利文獻(xiàn)（NPL) 1)。
[0006] 為了使用該樣的模型，有必要確定隱藏狀態(tài)的數(shù)目、觀測概率分布的類型和分布 參數(shù)。在其中已知隱藏狀態(tài)的數(shù)目和觀測概率分布的類型的情況下，可W通過例如使用在 NPL2中描述的期望最大化算法來估計參數(shù)。因此，如何確定隱藏狀態(tài)的數(shù)目和觀測概率分 布的類型是重要的。
[0007] 確定隱藏狀態(tài)的數(shù)目和觀測概率的類型的問題通常被稱為"模型選擇問題"或者 "系統(tǒng)標(biāo)識問題"，并且對于構(gòu)造可靠模型而言是極為重要的問題。相應(yīng)地提出了用于確定 隱藏狀態(tài)的數(shù)目和觀測概率的類型的各種方法。
[0008] 作為一種用于確定隱藏狀態(tài)的數(shù)目的方法，例如，提出了 一種通過變分 (variational)貝葉斯炬ayesian)方法最大化變分自由能量的方法（例如，參見NPL3)。 作為另一種用于確定隱藏狀態(tài)的數(shù)目的方法，提出了一種使用分級狄利克雷值irichlet) 過程先驗分布的非參數(shù)貝葉斯方法（例如，參見NPL4)。
[0009] 另外，在NPL5中描述了一種用于通過為混合模型近似完整邊際似然度函數(shù)并且 最大化它的下界（下限）來確定觀測概率的類型的方法，該混合模型是潛在變量模型的典 型示例。
[0010] 引用列表
[0011] 非專利文獻(xiàn)
[0012] [NPL1]C.Bishop,M.Svensen,BayesianHierarchicalMixturesof Experts,ProceedingsoftheNineteenthConferenceonUncertaintyinArtificial Intelligence,p. 57-64, 2002.
[0013][NPL2]C.Bishop,PatternRecognitionandMachineLearning,Springer ,p. 423-459, 2007.
[0014][NPL3]Beal,M.J. ,VariationalAlgorithmsforApproximateBayesian Inference,PhDthesis,UniversityCollegeLondon,May2003.
[0015][NPL4]VanGael,J. ,Saatci,Y. ,Teh,Y.W. ,andGhahramani,Z. ,BeamSampling fortheInfiniteHiddenMarkovModel,InICML, 2008.
[0016][NPL5]RyoheiFujimaki,SatoshiMorinaga,FactorizedAsymptoticBayesian InferenceforMixtureModeling,ProceedingsoftheFifteenthInternational ConferenceonArtificialIntelligenceandStatistics(AISTATS),March2012.

【發(fā)明內(nèi)容】

[0017] 技術(shù)問題
[0018] 在通過變分貝葉斯方法最大化變分自由能量的方法中，在最大化邊際似然度函數(shù) 的下界時假設(shè)隱藏狀態(tài)和變分分布中的分布參數(shù)的獨立性。該引起減少邊際似然度近似準(zhǔn) 確度的問題。
[0019] 作為使用分級狄利克雷過程先驗分布的非參數(shù)貝葉斯方法，已知一種基于蒙特卡 洛（MonteCarlo)的優(yōu)化算法。然而，該一算法具有極高計算復(fù)雜性的問題。
[0020] 由于其計算復(fù)雜性的問題而實際上不可能通過該兩種方法確定觀測概率的類型。 W下使用如下示例來描述該一計算復(fù)雜性的問題，在該示例中，觀測概率分布是混合多項 式曲線。由于W下討論并未依賴于隱藏狀態(tài)，所W省略了其描述。
[0021] 在其中用于隱藏狀態(tài)的觀測是多項式曲線的情況下，有必要恰當(dāng)?shù)剡x擇曲線（比 如線性曲線（直線）、二次曲線、S次曲線等）的度數(shù)W便確定觀測概率的類型。在使用典 型方法時，需要W該樣的方式為所有模型候選計算信息判據(jù)，該方式例如是在隱藏狀態(tài)的 數(shù)目是3時采用一個直線和兩個二次曲線，或者在隱藏狀態(tài)的數(shù)目是5時采用=個=次曲 線和兩個二次曲線。
[0022] 然而，模型候選的數(shù)目隨著待捜尋的模型的復(fù)雜性呈指數(shù)地增加。例如，在隱藏狀 態(tài)的數(shù)目是10并且曲線的最大度數(shù)是10的情況下，候選的數(shù)目約為100, 000。在隱藏狀態(tài) 的數(shù)目是20并且曲線的最大度數(shù)是20的情況下，候選的數(shù)目約為數(shù)百億。因此，實際上難 W通過典型方法執(zhí)行計算。
[0023] 在NPL1中描述的分級潛在變量模型是使用通過變分貝葉斯方法最大化變分自 由能量的方法而估計的模型，其中計算也實際上困難。
[0024]即使在使用在NPL5中描述的方法時，仍然有不能解決對于包括分級潛在變量的 模型的模型選擇問題該樣的問題。該是因為在NPL5中描述的方法并未考慮分級潛在變 量，并且因此不能明確地建立計算過程。此外，由于在NPL5中描述的方法基于它不適用于 其中存在分級潛在變量的情況該樣的強(qiáng)假設(shè)，所W如果簡單地應(yīng)用該一方法則失去理論合 理性。
[00巧]有鑒于此，本發(fā)明的一個示例性目的是提供一種分級潛在變量模型估計設(shè)備、分 級潛在變量模型估計方法和具有其上記錄的分級潛在變量模型估計程序的計算機(jī)可讀記 錄介質(zhì)，該設(shè)備、方法和計算機(jī)可讀記錄介質(zhì)可W解決對于包括分級潛在變量的分級潛在 變量模型的模型選擇問題，并且也用適當(dāng)計算復(fù)雜性估計分級潛在變量模型而不失理論合 理性。
[002引對問題的解決方案
[0027] 本發(fā)明的一個示例性方面是一種用于估計用于多變元數(shù)據(jù)的分級潛在變量模型 的分級潛在變量模型估計設(shè)備，該分級潛在變量模型估計設(shè)備包括；分級潛在結(jié)構(gòu)設(shè)置單 元，用于設(shè)置分級潛在結(jié)構(gòu)，分級潛在結(jié)構(gòu)是其中潛在變量由樹結(jié)構(gòu)代表并且代表概率模 型的分量位于樹結(jié)構(gòu)的最低級的節(jié)點處的結(jié)構(gòu)；變分概率計算單元，用于計算路徑潛在變 量的變分概率，路徑潛在變量是在分級潛在結(jié)構(gòu)中的將根節(jié)點鏈接到目標(biāo)節(jié)點的路徑中包 括的潛在變量；分量優(yōu)化單元，用于針對計算出的變分概率優(yōu)化分量中的每個分量；W及 口控函數(shù)優(yōu)化單元，用于基于分級潛在結(jié)構(gòu)的節(jié)點中的潛在變量的變分概率優(yōu)化口控函數(shù) 模型，該口控函數(shù)模型是用于根據(jù)節(jié)點中的多變元數(shù)據(jù)確定分支方向的模型。
[0028] 本發(fā)明的一個示例性方面是一種用于估計用于多變元數(shù)據(jù)的分級潛在變量模型 的分級潛在變量模型估計方法，該分級潛在變量模型估計方法包括；設(shè)置分級潛在結(jié)構(gòu)，分 級潛在結(jié)構(gòu)是其中潛在變量由樹結(jié)構(gòu)代表并且代表概率模型的分量位于樹結(jié)構(gòu)的最低級 的節(jié)點處的結(jié)構(gòu)；計算路徑潛在變量的變分概率，路徑潛在變量是在分級潛在結(jié)構(gòu)中的將 根節(jié)點鏈接到目標(biāo)節(jié)點的路徑中包括的潛在變量；針對計算出的變分概率優(yōu)化分量中的每 個分量；W及基于分級潛在結(jié)構(gòu)的節(jié)點中的潛在變量的變分概率優(yōu)化口控函數(shù)模型，n控 函數(shù)模型是根據(jù)節(jié)點中的多變元數(shù)據(jù)確定分支方向的模型。
[0029] 本發(fā)明的一個示例性方面是一種計算機(jī)可讀記錄介質(zhì)，該計算機(jī)可讀記錄介質(zhì)具 有其上記錄的用于估計用于多變元數(shù)據(jù)的分級潛在變量模型的分級潛在變量模型估計程 序，分級潛在變量模型估計程序使得計算機(jī)執(zhí)行；設(shè)置分級潛在結(jié)構(gòu)的分級潛在結(jié)構(gòu)設(shè)置 處理，分級潛在結(jié)構(gòu)是其中潛在變量由樹結(jié)構(gòu)代表并且代表概率模型的分量位于樹結(jié)構(gòu)的 最低級的節(jié)點處的結(jié)構(gòu)；計算路徑潛在變量的變分概率的變分概率計算處理，路徑潛在變 量是在分級潛在結(jié)構(gòu)中的將根節(jié)點鏈接到目標(biāo)節(jié)點的路徑中包括的潛在變量；針對計算出 的變分概率優(yōu)化分量中的每個分量的分量優(yōu)化處理；W及基于分級潛在結(jié)構(gòu)的節(jié)點中的潛 在變量的變分概率優(yōu)化口控函數(shù)模型的口控函數(shù)模型處理，n控函數(shù)模型是用于根據(jù)節(jié)點 中的多變元數(shù)據(jù)確定分支方向的模型。
[0030] 本發(fā)明的有利效果
[0031] 根據(jù)本發(fā)明，有可能解決對于包括分級潛在變量的分級潛在變量模型的模型選擇 問題并且也用適當(dāng)計算復(fù)雜性估計分級潛在變量模型而不失理論合理性。
【附圖說明】
[0032] [圖1]其描繪了根據(jù)本發(fā)明的分級潛在變量模型估計設(shè)備的示例性實施例的結(jié) 構(gòu)示例的框圖。
[0033] [圖2]其描繪了如下框圖，該框圖示出了示例性實施例1中的分級潛在變量變分 概率計算單元的結(jié)構(gòu)示例。
[0034] [圖3]其描繪了如下框圖，該框圖示出了示例性實施例1中的口控函數(shù)優(yōu)化單元 的結(jié)構(gòu)示例。
[0035] [圖4]其描繪了如下流程圖，該流程圖示出了示例性實施例1中的分級潛在變量 模型估計設(shè)備的操作示例。
[0036] [圖5]其描繪了如下流程圖，該流程圖示出了示例性實施例1中的分級潛在變量 變分概率計算單元的操作示例。
[0037] [圖6]其描繪了如下流程圖，該流程圖示出了示例性實施例1中的口控函數(shù)優(yōu)化 單元的操作示例。
[0038] [圖7]其描繪了如下框圖，該框圖示出了根據(jù)本發(fā)明的分級潛在變量模型估計設(shè) 備的示例性實施例2的結(jié)構(gòu)示例。
[0039] [圖引其描繪了如下框圖，該框圖示出了示例性實施例2中的分級潛在結(jié)構(gòu)優(yōu)化 單元的結(jié)構(gòu)示例。
[0040] [圖9]其描繪了如下流程圖，該流程圖示出了示例性實施例2中的分級潛在變量 模型估計設(shè)備的操作示例。
[0041] [圖10]其描繪了如下流程圖，該流程圖示出了示例性實施例2中的分級潛在結(jié)構(gòu) 優(yōu)化單元的操作示例。
[0042] [圖11]其描繪了如下框圖，該框圖示出了示例性實施例3中的口控函數(shù)優(yōu)化單元 的結(jié)構(gòu)示例。
[004引[圖切其描繪了如下流程圖，該流程圖示出了示例性實施例3中的口控函數(shù)優(yōu)化 單元的操作示例。
[0044] [圖13]其描繪了如下框圖，該框圖示意性地示出了根據(jù)本發(fā)明的分級潛在變量 模型估計設(shè)備。
【具體實施方式】
[0045] 在本發(fā)明中，分級潛在變量模型是如下模型，在該模型中，潛在變量（即，分級結(jié) 構(gòu)）具有樹結(jié)構(gòu)。作為概率模型的分量位于樹結(jié)構(gòu)的最低級節(jié)點處。每個分支節(jié)點具有用 于根據(jù)輸入對分支進(jìn)行排序的口控函數(shù)。在W下描