，并且省 略它們的描述。在該一示例性實(shí)施例中的分級潛在變量模型估計(jì)設(shè)備200與分級潛在變量 模型估計(jì)設(shè)備100不同僅在于分級潛在結(jié)構(gòu)優(yōu)化單元201被連接而最優(yōu)模型選擇單元108 未被連接。
[0132] 在示例性實(shí)施例1中，分級潛在變量模型估計(jì)設(shè)備100優(yōu)化用于分級潛在結(jié)構(gòu)候 選的口控函數(shù)和分量的模型，并且選擇用于優(yōu)化該優(yōu)化判據(jù)A的分級潛在結(jié)構(gòu)。在該一示 例性實(shí)施例中的分級潛在變量模型估計(jì)設(shè)備200中，在另一方面，在分級潛在變量變分概 率計(jì)算單元104的處理之后添加如下處理，其中分級潛在結(jié)構(gòu)優(yōu)化單元201從模型去除減 少了潛在變量的路徑。
[0133] 圖8是示出了示例性實(shí)施例2中的分級潛在結(jié)構(gòu)優(yōu)化單元201的結(jié)構(gòu)示例的框 圖。分級潛在結(jié)構(gòu)優(yōu)化單元201包括路徑潛在變量求和運(yùn)算單元201-1、路徑去除確定單元 201-2和路徑去除執(zhí)行單兀201-3。
[0134] 路徑潛在變量求和運(yùn)算單元201-1接收分級潛在變量變分概率104-6的輸入，并 且計(jì)算每個(gè)分量中的最低級路徑潛在變量變分概率之和（下文被稱為"采樣求和"）。
[0135] 路徑去除確定單元201-2確定采樣求和是否等于或者小于預(yù)定闊值e。該里，e是 與輸入數(shù)據(jù)111 一起輸入的闊值。具體而言，由路徑去除確定單元201-2確定的條件可W 例如由W下表達(dá)式5代表。
[0136][數(shù)學(xué)式引
[0137]
[013引也就是說，路徑去除確定單元201-2確定每個(gè)分量中的最低級路徑潛在變量變分 概率q(zyn)是否滿足由W上所示的表達(dá)式5定義的判據(jù)。換而言之，路徑去除確定單元 201-2確定采樣求和是否充分地小。
[0139] 路徑去除執(zhí)行單元201-3將采樣求和被確定為充分小的路徑的變分概率設(shè)置為 0。路徑去除執(zhí)行單元201-3然后使用為每個(gè)剩余路徑（即，其變分概率未被設(shè)置成0的路 徑）而歸一化的最低級路徑潛在變量變分概率來重新計(jì)算用于每級的分級潛在變量變分 概率104-6,并且輸出重新計(jì)算結(jié)果。
[0140]W下描述該一處理的有效性。W下作為示例而示出的表達(dá)式6是迭代優(yōu)化中的 。咕/)的更新表達(dá)式。
[0141][數(shù)學(xué)式9]
[0142]
[0143] (表達(dá)式6)
[0144] 在W上所示的表達(dá)式6中，在指數(shù)部分中包括負(fù)項(xiàng)，并且在先前處理中計(jì)算出的 q(Zyn)存在于在該項(xiàng)的分母中。因而，優(yōu)化的q(Zyn)的值在分母更小時(shí)更小。因此，通過 迭代計(jì)算逐漸地減少小路徑潛在變量變分概率。
[0145] 注意，分級潛在結(jié)構(gòu)優(yōu)化單元201 (更具體地，路徑潛在變量求和運(yùn)算單元201-1、 路徑去除確定單元201-2和路徑去除執(zhí)行單元201-3)由根據(jù)程序（分級潛在變量模型估 計(jì)程序）操作的計(jì)算機(jī)的CPU實(shí)現(xiàn)。
[0146] 下文描述了該一示例性實(shí)施例中的分級潛在變量模型估計(jì)設(shè)備200的操作。圖9 是示出了該一示例性實(shí)施例中的分級潛在變量模型估計(jì)設(shè)備200的操作示例的流程圖。
[0147] 首先，數(shù)據(jù)輸入設(shè)備101輸入該輸入數(shù)據(jù)111 (步驟S200)。接著，分級潛在結(jié)構(gòu)設(shè) 置單元102將隱藏狀態(tài)的數(shù)目的初始狀態(tài)設(shè)置為分級潛在結(jié)構(gòu)（步驟S201)。
[0148] 在示例性實(shí)施例1中，對于分量的數(shù)目執(zhí)行所有多個(gè)候選W捜尋最優(yōu)求解。在該 一示例性實(shí)施例中，在另一方面，也可W優(yōu)化分量數(shù)目，從而使得可W在一個(gè)操作中優(yōu)化分 級潛在結(jié)構(gòu)。因此，在步驟S201中，僅需設(shè)置隱藏狀態(tài)的數(shù)目的初始值一次，該不同于示例 性實(shí)施例1中的步驟S102,其中從多個(gè)候選選擇尚未被優(yōu)化的候選。
[0149] 接著，初始化單元103為設(shè)置的分級潛在結(jié)構(gòu)執(zhí)行潛在變量變分概率和用于估計(jì) 的參數(shù)的初始化處理（步驟S202)。
[0150] 接著，分級潛在變量變分概率計(jì)算單元104計(jì)算每個(gè)路徑潛在變量的變分概率 (步驟S203)。接著，分級潛在結(jié)構(gòu)優(yōu)化單元201通過估計(jì)分量的數(shù)目來優(yōu)化分級潛在結(jié)構(gòu) (步驟S204)。也就是說，由于分量位于最低級節(jié)點(diǎn)處，所W在優(yōu)化分級潛在結(jié)構(gòu)時(shí)，也優(yōu)化 分量的數(shù)目。
[0151] 接著，分量優(yōu)化單元105通過估計(jì)觀測概率的類型和參數(shù)來優(yōu)化每個(gè)分量（步驟 S205)。接著，n控函數(shù)優(yōu)化單元106優(yōu)化每個(gè)分支節(jié)點(diǎn)中的分支參數(shù)（步驟S206)。接著， 最優(yōu)性確定單元107確定優(yōu)化判據(jù)A是否已經(jīng)收斂（步驟S207)。也就是說，最優(yōu)性確定單 元107確定模型的最優(yōu)性。
[0152] 在其中在步驟S207中未確定優(yōu)化判據(jù)A已經(jīng)收斂（即確定模型不是最優(yōu)（步驟 S207a;否））的情況下，重復(fù)步驟S203至S207的處理。
[0153] 在另一方面，在其中在步驟S207中確定優(yōu)化判據(jù)A已經(jīng)收斂（即確定模型最優(yōu) (步驟S207a;是））的情況下，模型估計(jì)結(jié)果輸出設(shè)備109輸出模型估計(jì)結(jié)果，并且結(jié)束該 處理（步驟S208)。
[0154] 下文描述了該一示例性實(shí)施例中的分級潛在結(jié)構(gòu)優(yōu)化單元201的操作。圖10是 示出了該一示例性實(shí)施例中的分級潛在結(jié)構(gòu)優(yōu)化單元201的操作示例的流程圖。
[0巧5] 首先，路徑潛在分量求和運(yùn)算單元201-1計(jì)算路徑潛在變量的采樣求和（步驟 S211)。接著，路徑去除確定單元201-2確定計(jì)算出的采樣求和是否充分?。ú襟ES212)。 接著，路徑去除執(zhí)行單元201-3輸出在其中采樣求和被確定為充分小的最低級路徑潛在變 量變分概率被設(shè)置成0的狀態(tài)中重新計(jì)算出的分級潛在變量概率，并且結(jié)束該處理（步驟 S213)。
[0156] 如W上描述的那樣，在該一示例性實(shí)施例中，分級潛在結(jié)構(gòu)優(yōu)化單元201通過從 模型去除其計(jì)算出的分辨概率等于或者小于預(yù)定闊值的路徑來優(yōu)化分級潛在結(jié)構(gòu)。
[0157] 根據(jù)該樣的結(jié)構(gòu)，除了示例性實(shí)施例1的有利效果之外，還可W在一個(gè)操作中優(yōu) 化分量的數(shù)目而無需如在分級潛在變量模型估計(jì)設(shè)備100中那樣優(yōu)化多個(gè)分級潛在結(jié)構(gòu) 候選。該使分量的數(shù)目、觀測概率的類型和參數(shù)W及變分概率能夠被同時(shí)估計(jì)，從而使得可 W減少計(jì)算成本。
[015引示例性實(shí)施例3
[0159] 下文描述了根據(jù)本發(fā)明的分級潛在變量模型估計(jì)設(shè)備的示例性實(shí)施例3。該一示 例性實(shí)施例中的分級潛在變量模型估計(jì)設(shè)備與分級潛在變量模型估計(jì)設(shè)備200不同在于 口控函數(shù)優(yōu)化單元106被口控函數(shù)優(yōu)化單元113取代。
[0160] 圖11是示出了示例性實(shí)施例3中的口控函數(shù)優(yōu)化單元113的結(jié)構(gòu)示例的框圖。 口控函數(shù)優(yōu)化單元113包括有效分支節(jié)點(diǎn)選擇單元113-1和分支參數(shù)優(yōu)化并行處理單元 113-2。
[0161] 有效分支節(jié)點(diǎn)選擇單元113-1僅從分級潛在結(jié)構(gòu)選擇有效分支節(jié)點(diǎn)。具體而言， 通過使用由分量優(yōu)化單元105估計(jì)的模型104-5,有效分支節(jié)點(diǎn)選擇單元113-1通過考慮從 模型去除的路徑來僅選擇有效分支節(jié)點(diǎn)。因此，有效分支節(jié)點(diǎn)意味著未從分級潛在結(jié)構(gòu)去 除的路徑上的分支節(jié)點(diǎn)。
[0162] 分支參數(shù)優(yōu)化并行處理單元113-2并行地對于有效分支節(jié)點(diǎn)執(zhí)行分支參數(shù)優(yōu)化 處理，并且輸出口控函數(shù)模型106-6。具體而言，分支參數(shù)優(yōu)化并行處理單元113-2使用 輸入數(shù)據(jù)111和由分級潛在變量變分概率計(jì)算單元104計(jì)算出的分級潛在變量變分概率 104-6來并行地同時(shí)優(yōu)化用于所有有效分支節(jié)點(diǎn)的分支參數(shù)。
[0163] 例如，分支參數(shù)優(yōu)化并行處理單元113-2可W如在圖11中舉例說明的那樣包括并 行布置的示例性實(shí)施例1中的分支參數(shù)優(yōu)化單元106-3。該樣的結(jié)構(gòu)允許一次優(yōu)化所有口 控函數(shù)的分支參數(shù)。
[0164] 也就是說，盡管分級潛在變量模型估計(jì)設(shè)備100和200 -次一個(gè)地執(zhí)行口控函數(shù) 的優(yōu)化處理，該一示例性實(shí)施例中的分級潛在變量模型估計(jì)設(shè)備可W并行地執(zhí)行口控函數(shù) 的優(yōu)化處理，該有助于更快模型估計(jì)。
[0165] 注意，n控函數(shù)優(yōu)化單元113(更具體地，有效分支節(jié)點(diǎn)選擇單元113-1和分支參 數(shù)優(yōu)化并行處理單元113-2)由根據(jù)程序（分級潛在變量模型估計(jì)程序）操作的計(jì)算機(jī)的 CPU實(shí)現(xiàn)。
[0166] 下文描述了該一示例性實(shí)施例中的口控函數(shù)優(yōu)化單元113的操作。圖12是示出 了該一示例性實(shí)施例中的口控函數(shù)優(yōu)化單元113的操作示例的流程圖。首先，有效分支節(jié) 點(diǎn)選擇單元113-1選擇所有有效分支節(jié)點(diǎn)（步驟S301)。接著，分支參數(shù)優(yōu)化并行處理單元 113-2并行地優(yōu)化所有有效分支節(jié)點(diǎn)，并且結(jié)束該處理（步驟S302)。
[0167] 如W上描述的那樣，根據(jù)該一示例性實(shí)施例，有效分支節(jié)點(diǎn)選擇單元113-1從分 級潛在結(jié)構(gòu)節(jié)點(diǎn)選擇有效分支節(jié)點(diǎn)，并且分支參數(shù)優(yōu)化并行處理單元113-2基于每個(gè)有效 分支節(jié)點(diǎn)中的潛在變量的變分概率優(yōu)化口控函數(shù)模型。該里，分支參數(shù)優(yōu)化并行處理單元 113-2并行地優(yōu)化用于有效分支節(jié)點(diǎn)的分支參數(shù)。因此，可W并行地執(zhí)行口控函數(shù)的優(yōu)化處 理，從而使得除了前述示例性實(shí)施例的有利效果之外還可W實(shí)現(xiàn)更快模型估計(jì)。
[0168] 注意，W上描述的每個(gè)程序（分級潛在變量模型估計(jì)程序）被存儲(chǔ)在計(jì)算機(jī)可讀 記錄介質(zhì)中，并且使德計(jì)算機(jī)通過W上提到的單元執(zhí)行處理。
[0169] 下文使用具體示例來描述本發(fā)明。然而，注意，本發(fā)明的范圍不限于下文，并且根 據(jù)本發(fā)明的變量模型估計(jì)設(shè)備適用于各種模型。
[0170] 首先描述示例性實(shí)施例1中的分級潛在變量模型估計(jì)設(shè)備的具體示例。該里使用 了將示例性實(shí)施例1中的分級潛在變量模型估計(jì)設(shè)備應(yīng)用于分析建筑物的電力需求歷史 該一情形的示例。
[0171] 通過應(yīng)用示例性實(shí)施例1中的分級潛在變量模型估計(jì)設(shè)備，例如，有可能對于多 個(gè)不同境況中的每個(gè)境況（比如"工作日和周末"）分解在從在建筑物中安裝的多個(gè)傳感器 獲取的功率消耗和多變元數(shù)據(jù)之間的關(guān)系。另外，通過應(yīng)用示例性實(shí)施例1中的分級潛在 變量模型估計(jì)設(shè)備，例如，有可能估計(jì)在獲取的多個(gè)關(guān)系之間的切換規(guī)則，比如在"給定的 溫度或者更高溫度"的情況下將它們的關(guān)系切換成具體關(guān)系。
[0172] 對于用于化解電力供應(yīng)過量或者短缺的功率消耗預(yù)測，極為重要的是不僅估計(jì)多 個(gè)關(guān)系而且估計(jì)如何在多個(gè)關(guān)系之間切換。
[0173] 例如，考慮如下分級潛在變量模型，在該分級潛在變量模型中，假設(shè)的多項(xiàng)式回歸 表達(dá)式被應(yīng)用于每個(gè)分量，該多項(xiàng)式回歸表達(dá)式W空氣溫度、當(dāng)天時(shí)間和當(dāng)周日子作為說 明變量而W在一小時(shí)之后的功率消耗作為響應(yīng)變量。該里待估計(jì)的模型是分級潛在結(jié)構(gòu)、 回歸參數(shù)化k)和最低級路徑潛在變量變分分布（q)。
[0174] 首先，數(shù)據(jù)輸入設(shè)備101與說明變量和響應(yīng)變量的數(shù)據(jù)一起向分級潛在變量模型 估計(jì)設(shè)備輸入多個(gè)不同樹結(jié)構(gòu)作為分級潛在結(jié)構(gòu)候選。分級潛在結(jié)構(gòu)設(shè)置單元102依次設(shè) 置輸入的樹結(jié)構(gòu)。接著，初始化單元103隨機(jī)地設(shè)置用于設(shè)置的分級潛在結(jié)構(gòu)的回歸度數(shù) 和其它參數(shù)作為初始化處理。然后通過分級潛在變量變分概率計(jì)算單元104至最優(yōu)性確定 單元107的處理估計(jì)模型。
[01巧]通過該些處理，可W自動(dòng)地獲得代表不同境況及其切換規(guī)則的多個(gè)回歸模型。代 表不同境況的多個(gè)回歸模型的示例包括具有如下說明變量的大回歸系數(shù)的回歸模型和具 有如下參數(shù)的相對小回歸系數(shù)的回歸模型，該說明變量指示9點(diǎn)鐘，該是到達(dá)辦公室的時(shí) 間，該參數(shù)指示當(dāng)天時(shí)間。
[0176] 另外，最優(yōu)模型選擇單元108自動(dòng)地選擇哪個(gè)分級潛在結(jié)構(gòu)最優(yōu)。該里，例如，有 可能根據(jù)建筑物自動(dòng)地檢測不同功率消耗模式的數(shù)目并且對適當(dāng)模式數(shù)目及其切換規(guī)則 的關(guān)系進(jìn)行建模。
[0177] 接著描述示例