一種半監(jiān)督分類方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別是指一種半監(jiān)督分類方法及系統(tǒng)。
【背景技術(shù)】
[0002] 數(shù)據(jù)分類是機(jī)器學(xué)習(xí)的基本任務(wù)，是圖像視覺(jué)分析、文本分析、語(yǔ)音識(shí)別、生物信 號(hào)識(shí)別等領(lǐng)域的基礎(chǔ)工作。數(shù)據(jù)分類，可分為兩大類，即監(jiān)督分類與半監(jiān)督分類：監(jiān)督分類 是數(shù)據(jù)樣本全部具有標(biāo)號(hào)，半監(jiān)督分類是部分?jǐn)?shù)據(jù)樣本具有標(biāo)號(hào)，部分?jǐn)?shù)據(jù)樣本不具有標(biāo) 號(hào)。在實(shí)際中，無(wú)標(biāo)號(hào)的數(shù)據(jù)比帶標(biāo)號(hào)的數(shù)據(jù)多得多，因此，從可應(yīng)用的信息量角度可以看 出，半監(jiān)督分類在現(xiàn)實(shí)應(yīng)用中有很強(qiáng)的需求。
[0003] 目前，核學(xué)習(xí)，即基于核函數(shù)的學(xué)習(xí)方法，由于其對(duì)非線性問(wèn)題的適應(yīng)能力強(qiáng)的特 點(diǎn)，核學(xué)習(xí)在機(jī)器學(xué)習(xí)的各個(gè)方面都有廣泛地應(yīng)用；然而，傳統(tǒng)核學(xué)習(xí)是基于單個(gè)核函數(shù) 的，對(duì)復(fù)雜的數(shù)據(jù)集合而言，對(duì)其特征的描述能力有限，且隨著多源非結(jié)構(gòu)化數(shù)據(jù)和多角度 信息的出現(xiàn)，單一核函數(shù)對(duì)數(shù)據(jù)特征的描述與映射能力均有限。因此，多核學(xué)習(xí)被提出，多 核學(xué)習(xí)是指將多個(gè)單一的核函數(shù)進(jìn)行線性組合，而每個(gè)核函數(shù)能夠?qū)?shù)據(jù)的特定的屬性進(jìn) 行描述，以綜合性地反映以及描述數(shù)據(jù)的特征，同時(shí)理論基礎(chǔ)提供了多核函數(shù)的映射空間， 即再生核希爾伯特空間，能夠體系化地表征出映射之后的數(shù)據(jù)特征，從而有效地利用特征 建立分類模型。
[0004] 多核函數(shù)方法，在分類中表現(xiàn)出了泛化能力好，適應(yīng)的數(shù)據(jù)集合廣泛的特點(diǎn)；然 而，就需求性更強(qiáng)的半監(jiān)督分類領(lǐng)域而言，多核函數(shù)方法不能夠直接利用無(wú)標(biāo)號(hào)數(shù)據(jù)進(jìn)行 分類。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明要解決的技術(shù)問(wèn)題是提供一種半監(jiān)督分類方法及系統(tǒng)，以解決現(xiàn)有技術(shù)所 存在的多核函數(shù)分類方法不能夠直接利用無(wú)標(biāo)號(hào)數(shù)據(jù)進(jìn)行分類的問(wèn)題。
[0006] 為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種半監(jiān)督分類方法，包括：
[0007] 獲取數(shù)據(jù)樣本，確定表征所述數(shù)據(jù)樣本流形結(jié)構(gòu)的拉普拉斯矩陣，所述數(shù)據(jù)樣本 包括：帶標(biāo)號(hào)數(shù)據(jù)樣本和無(wú)標(biāo)號(hào)數(shù)據(jù)樣本；
[0008] 基于所述數(shù)據(jù)樣本，得到表征多核函數(shù)組合的映射空間下的數(shù)據(jù)樣本特征的多核 組合矩陣；
[0009] 根據(jù)所述拉普拉斯矩陣和多核組合矩陣，建立半監(jiān)督分類函數(shù)，為所述無(wú)標(biāo)號(hào)的 數(shù)據(jù)樣本進(jìn)行標(biāo)號(hào)。
[0010] 進(jìn)一步地，所述獲取數(shù)據(jù)樣本，確定表征所述數(shù)據(jù)樣本流形結(jié)構(gòu)的拉普拉斯矩陣 包括：
[0011] 獲取每一個(gè)數(shù)據(jù)樣本的鄰域范圍，得到基于全體數(shù)據(jù)樣本的圖模型，所述圖模型 用于反映所述數(shù)據(jù)樣本的空間結(jié)構(gòu)；
[0012] 確定各鄰域范圍內(nèi)各個(gè)數(shù)據(jù)樣本之間的權(quán)值，該權(quán)值度量?jī)蓛蓴?shù)據(jù)樣本之間的近 鄰程度，得到所述圖模型的權(quán)值矩陣；
[0013] 根據(jù)所述權(quán)值矩陣得到表征所述數(shù)據(jù)樣本流形結(jié)構(gòu)的拉普拉斯矩陣。
[0014] 進(jìn)一步地，所述基于所述數(shù)據(jù)樣本，得到表征多核函數(shù)組合的映射空間下的數(shù)據(jù) 樣本特征的多核組合矩陣包括：
[0015] 給定Μ個(gè)核函數(shù)，將各核函數(shù)作用于獲取到的數(shù)據(jù)樣本，得到每個(gè)核函數(shù)的映射 空間，并通過(guò)Μ個(gè)核矩陣丨1丨：來(lái)表征每個(gè)映射空間下的數(shù)據(jù)樣本特征，m = 1,2,…，Μ依 次取值；
[0016]對(duì)Μ個(gè)核矩陣的權(quán)值= H t進(jìn)行初始化；
[0017] 對(duì)Μ個(gè)核矩陣丨之匕進(jìn)行權(quán)值為d的線性組合，得到多核組合矩陣K， Κ=Σ·ΙΛΛ" ；
[0018] 其中，d表示核組合權(quán)值，dm表示第m個(gè)核矩陣K"的權(quán)值。
[0019] 進(jìn)一步地，所述權(quán)值d中的元素cU茜足(!，〇和| |d| | 1，其中，|4=1;；(=狀,|。
[0020] 進(jìn)一步地，所述根據(jù)所述拉普拉斯矩陣和多核組合矩陣，建立半監(jiān)督分類函數(shù)包 括：
[0021 ] 根據(jù)所述拉普拉斯矩陣和多核組合矩陣，建立最優(yōu)化數(shù)學(xué)表達(dá)式P，所述最優(yōu)化數(shù) 學(xué)表達(dá)式P為：
[0022]
[0023]
[0024]
[0025]
[0026] 式中，d表示待求權(quán)值，集合D表示d的約束條件，β表示待求參數(shù)，集合B表示 β的約束條件，L是拉普拉斯矩陣，Κ是多核組合矩陣且Κ=ΣΚΛ,?，I是單位矩陣，Υ是對(duì) 角矩陣且對(duì)角元素由丨組成，yi表示第i個(gè)帶標(biāo)號(hào)數(shù)據(jù)樣本的標(biāo)號(hào)值，1表示帶標(biāo)號(hào)數(shù) 據(jù)樣本的數(shù)目，J是單位矩陣和零矩陣組成且J=[I0]，C是常數(shù)，yjPγ:是表達(dá)式參 數(shù)；
[0027] 視權(quán)值d為固定值，根據(jù)二次規(guī)劃方法，得到當(dāng)前最優(yōu)參數(shù)β;
[0028] 在當(dāng)前最優(yōu)參數(shù)β下，再視權(quán)值d為變量，通過(guò)既約梯度方法得到權(quán)值d的更新 方向參數(shù)s，并通過(guò)權(quán)值更新公式，更新每一個(gè)核矩陣的權(quán)值，所述權(quán)值更新公式為：
[0029]d:=d+As
[0030] 式中，λ是步長(zhǎng)；
[0031]根據(jù)獲得的被更新的d，更新多核組合矩陣和最優(yōu)化數(shù)學(xué)表達(dá)式Ρ，并 根據(jù)更新后的最優(yōu)化數(shù)學(xué)表達(dá)式Ρ重新獲取當(dāng)前的最優(yōu)參數(shù)β及權(quán)值d，直至滿足：
[0032]
[0033] 其中，ε表示預(yù)設(shè)的閾值，m= 1，2,…，Μ依次取值，Μ表示核矩陣的個(gè)數(shù)，&表示 第m個(gè)核矩陣，dm表示第m個(gè)核矩陣的權(quán)值，t"1是相對(duì)應(yīng)于dm>0的計(jì)算結(jié)果，若dm= 0,另 記為九以示區(qū)別，此時(shí)相對(duì)應(yīng)的計(jì)算結(jié)果記為t^
[0034] 根據(jù)最終得到的最優(yōu)參數(shù)β及權(quán)值d，得到參數(shù)α，并建立半監(jiān)督分類函數(shù) f(x)：
[0035]
[0036] 式中，X表示的無(wú)標(biāo)號(hào)的數(shù)據(jù)樣本，α;表示參數(shù)α中的元素，η表示數(shù)據(jù)樣本的 數(shù)目，k"表示第m個(gè)核函數(shù)，y,表示第j個(gè)帶標(biāo)號(hào)數(shù)據(jù)樣本的標(biāo)號(hào)值且下標(biāo)j對(duì)應(yīng)的同一 下標(biāo)的βj在（〇,C)范圍之間，Xi表示第i個(gè)數(shù)據(jù)樣本，Xj表示第j個(gè)帶標(biāo)號(hào)數(shù)據(jù)樣本。
[0037] 本發(fā)明實(shí)施例還提供一種半監(jiān)督分類系統(tǒng)，包括：
[0038] 拉普拉斯矩陣確定單元，用于獲取數(shù)據(jù)樣本，確定表征所述數(shù)據(jù)樣本流形結(jié)構(gòu)的 拉普拉斯矩陣，所述數(shù)據(jù)樣本包括：帶標(biāo)號(hào)數(shù)據(jù)樣本和無(wú)標(biāo)號(hào)數(shù)據(jù)樣本；
[0039] 多核組合矩陣確定單元，用于基于所述數(shù)據(jù)樣本，得到表征多核函數(shù)組合的映射 空間下的數(shù)據(jù)樣本特征的多核組合矩陣；
[0040] 分類函數(shù)建立單元，用于根據(jù)所述拉普拉斯矩陣和多核組合矩陣，建立半監(jiān)督分 類函數(shù)，為所述無(wú)標(biāo)號(hào)的數(shù)據(jù)樣本進(jìn)行標(biāo)號(hào)。
[0041] 進(jìn)一步地，所述拉普拉斯矩陣確定單元包括：
[0042] 圖模型建立模塊，用于獲取每一個(gè)數(shù)據(jù)樣本的鄰域范圍，得到基于全體數(shù)據(jù)樣本 的圖模型，所述圖模型用于反映所述數(shù)據(jù)樣本的空間結(jié)構(gòu)；
[0043] 權(quán)值矩陣確定模塊，用于確定各鄰域范圍內(nèi)各個(gè)數(shù)據(jù)樣本之間的權(quán)值，該權(quán)值度 量?jī)蓛蓴?shù)據(jù)樣本之間的近鄰程度，得到所述圖模型的權(quán)值矩陣；
[0044] 拉普拉斯矩陣確定模塊，用于根據(jù)所述權(quán)值矩陣得到表征所述數(shù)據(jù)樣本流形結(jié)構(gòu) 的拉普拉斯矩陣。
[0045] 進(jìn)一步地，所述多核組合矩陣確定單元包括：
[0046] 核矩陣確定模塊，用于根據(jù)給定的Μ個(gè)核函數(shù)和獲取到的數(shù)據(jù)樣本，將各核函數(shù) 作用于獲取到的數(shù)據(jù)樣本，得到每個(gè)核函數(shù)的映射空間，并通過(guò)Μ個(gè)核矩陣丨夂)1來(lái)表征每 個(gè)映射空間下的數(shù)據(jù)樣本特征，m= 1，2,…，Μ依次取值；
[0047] 權(quán)值初始化模塊，用于對(duì)Μ個(gè)核矩陣的權(quán)值4 =ΚΧ=1進(jìn)行初始化；
[0048] 多核組合矩陣確定模塊，用于對(duì)Μ個(gè)核矩陣丨進(jìn)行權(quán)值為d的線性組合，得到 多核組合矩陣K，尺=Σ】:
[0049] 其中，d表示核組合權(quán)值，(!"表示第m個(gè)核矩陣K"的權(quán)值。
[0050] 進(jìn)一步地，所述權(quán)值d中的元素dj茜足d"^0和| |d| | 1，其中，||4=1丄機(jī),|。
[0051] 進(jìn)一步地，所述分類函數(shù)建立單元包括：
[0052] 最優(yōu)化數(shù)學(xué)表達(dá)式確定模塊，用于根據(jù)所述拉普拉斯矩陣和多核組合矩陣，建立 最優(yōu)化數(shù)學(xué)表達(dá)式P，所述最優(yōu)化數(shù)學(xué)表達(dá)式P為：
[0053]
[0054] Q= (ΥαΙ+Υ^Κ) 1
[0055] Β^{β\Τ^β,}\=〇,〇</?, <C,V/}
[0056] D= \d\Σ^=1dm-1,^ >0,Vnj}
[0057] 式中，d表示待求權(quán)值，集合D表示d的約束條件，β表示待求參數(shù)，集合B表示 β的約束條件，L是拉普拉斯矩陣，K是多核組合矩陣且X=11,?? ,I是單位矩陣，Y是對(duì) 角矩陣且對(duì)角元素由丨組成，yi表示第i個(gè)帶標(biāo)號(hào)數(shù)據(jù)樣本的標(biāo)號(hào)值，1表示帶標(biāo)號(hào)數(shù) 據(jù)樣本的數(shù)目，J是單位矩陣和零矩陣組成且J=[I0]，C是常數(shù)，yjPγ:是表達(dá)式參 數(shù)；
[0058] 最優(yōu)參數(shù)確定模塊，用于在權(quán)值初始化模塊的條件下，視權(quán)值d為固定值，應(yīng)用二 次規(guī)劃法獲得當(dāng)前最優(yōu)參數(shù)β;
[0059] 權(quán)值更新模塊，用于在當(dāng)前最優(yōu)參數(shù)β下，再視權(quán)值d為變量，通過(guò)既約梯度方法 得到權(quán)值d的更新方向參數(shù)s，并通過(guò)權(quán)值更新公式，更新每一個(gè)核矩陣的權(quán)值，所述權(quán)值 更新公式為：
[0060] d: =d+λs
[0061] 式中，λ是步長(zhǎng)；
[0062] 參數(shù)驗(yàn)證模塊，用于