本發(fā)明是有關(guān)于一種機(jī)器學(xué)習(xí)技術(shù)，且特別是有關(guān)于一種半監(jiān)督式學(xué)習(xí)(semi-supervised?learning)的優(yōu)化方法及運(yùn)算裝置。

背景技術(shù)：

1、傳統(tǒng)的半監(jiān)督式學(xué)習(xí)技術(shù)仰賴一個(gè)固定且很高的閾值來(lái)產(chǎn)生有效的偽標(biāo)記。在實(shí)際應(yīng)用上，數(shù)據(jù)集的數(shù)量經(jīng)常是有限的。此外，采用高閾值會(huì)浪費(fèi)大量的無(wú)標(biāo)記數(shù)據(jù)，不僅導(dǎo)致初期訓(xùn)練時(shí)間拉長(zhǎng)，還可能抑制最終模型的性能。

2、傳統(tǒng)的半監(jiān)督式學(xué)習(xí)技術(shù)對(duì)于所有未標(biāo)記數(shù)據(jù)皆是使用相同的閾值。然而，學(xué)習(xí)任務(wù)中的多個(gè)類別之間可能存在難易度的差異。對(duì)于不同難易度的類別應(yīng)采用不同的策略。若使用相同的閾值，則將導(dǎo)致較難類別的偽標(biāo)記數(shù)據(jù)較少，間接產(chǎn)生數(shù)據(jù)不平衡的問(wèn)題，更造成這類別最終無(wú)法有效學(xué)習(xí)。

3、在傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)中，持續(xù)增加訓(xùn)練數(shù)據(jù)的數(shù)量幫助模型準(zhǔn)確度呈線性成長(zhǎng)。假設(shè)模型的可學(xué)習(xí)數(shù)據(jù)量定義為模型的容量大小，訓(xùn)練數(shù)據(jù)數(shù)量累積到一定數(shù)量后，模型準(zhǔn)確度的成長(zhǎng)會(huì)逐漸飽和。即便搜集大量的數(shù)據(jù)也無(wú)法進(jìn)一步提升模型準(zhǔn)確度。

4、此外，傳統(tǒng)的半監(jiān)督學(xué)習(xí)技術(shù)容易對(duì)超參數(shù)敏感，需要對(duì)于偽標(biāo)記閾值、數(shù)據(jù)集特性和數(shù)據(jù)集大小等參數(shù)進(jìn)行微調(diào)，十分耗費(fèi)運(yùn)算資源。甚至，挑選到不好的超參數(shù)也容易影響模型準(zhǔn)確度最終的效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種半監(jiān)督式學(xué)習(xí)的優(yōu)化方法及運(yùn)算裝置，可針對(duì)不同類別動(dòng)態(tài)地提供合適的閾值，并適當(dāng)?shù)卣{(diào)整模型的容量。

2、本發(fā)明實(shí)施例的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法可適用于已標(biāo)記數(shù)據(jù)集及未標(biāo)記數(shù)據(jù)集。已標(biāo)記數(shù)據(jù)集中的一個(gè)或多個(gè)第一樣本已標(biāo)記為多個(gè)類別中的一者，未標(biāo)記數(shù)據(jù)集中的一個(gè)或多個(gè)第二樣本尚未標(biāo)記為那些類別中的一者。優(yōu)化方法包括(但不僅限于下列步驟)：通過(guò)機(jī)器學(xué)習(xí)模型分別決定已標(biāo)記數(shù)據(jù)集的第一預(yù)測(cè)結(jié)果及未標(biāo)記數(shù)據(jù)集的第二預(yù)測(cè)結(jié)果；依據(jù)已標(biāo)記數(shù)據(jù)集中的第一樣本的第一預(yù)測(cè)結(jié)果的第一信心分?jǐn)?shù)決定偽標(biāo)記閾值；以及依據(jù)未標(biāo)記數(shù)據(jù)集中的第二樣本的第二預(yù)測(cè)結(jié)果的第二信心分?jǐn)?shù)與偽標(biāo)記閾值的比較結(jié)果更新機(jī)器學(xué)習(xí)模型。

3、本發(fā)明的實(shí)施例的運(yùn)算裝置可適用于已標(biāo)記數(shù)據(jù)集及未標(biāo)記數(shù)據(jù)集。已標(biāo)記數(shù)據(jù)集中的一個(gè)或多個(gè)第一樣本已標(biāo)記為多個(gè)類別中的一者，未標(biāo)記數(shù)據(jù)集中的一個(gè)或多個(gè)第二樣本尚未標(biāo)記為那些類別中的一者。運(yùn)算裝置包括(但不僅限于下列步驟)存儲(chǔ)器及處理器。存儲(chǔ)器存儲(chǔ)程序代碼。處理器耦接存儲(chǔ)器。處理器載入程序代碼而執(zhí)行：通過(guò)機(jī)器學(xué)習(xí)模型分別決定已標(biāo)記數(shù)據(jù)集的第一預(yù)測(cè)結(jié)果及未標(biāo)記數(shù)據(jù)集的第二預(yù)測(cè)結(jié)果；依據(jù)已標(biāo)記數(shù)據(jù)集中的第一樣本的第一預(yù)測(cè)結(jié)果的第一信心分?jǐn)?shù)決定偽標(biāo)記閾值；以及依據(jù)未標(biāo)記數(shù)據(jù)集中的第二樣本的第二預(yù)測(cè)結(jié)果的第二信心分?jǐn)?shù)與偽標(biāo)記閾值的比較結(jié)果更新機(jī)器學(xué)習(xí)模型。

4、基于上述，依據(jù)本發(fā)明實(shí)施例的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法及運(yùn)算裝置，可使用預(yù)測(cè)已標(biāo)記的樣本所得的信心分?jǐn)?shù)決定用于判斷偽標(biāo)記的閾值。借此，可更有效率地使用無(wú)標(biāo)記數(shù)據(jù)，減少模型初期的訓(xùn)練時(shí)間，且提升識(shí)別準(zhǔn)確度。

5、為讓本發(fā)明的上述特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉實(shí)施例，并配合附圖作詳細(xì)說(shuō)明如下。

技術(shù)特征：

1.一種半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，適用于已標(biāo)記數(shù)據(jù)集及未標(biāo)記數(shù)據(jù)集，該已標(biāo)記數(shù)據(jù)集中的至少一個(gè)第一樣本已標(biāo)記為多個(gè)類別中的一者，該未標(biāo)記數(shù)據(jù)集中的至少一個(gè)第二樣本尚未標(biāo)記為所述多個(gè)類別中的一者，且該優(yōu)化方法包括：

2.根據(jù)權(quán)利要求1所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，其中依據(jù)該已標(biāo)記數(shù)據(jù)集中的該至少一個(gè)第一樣本的該第一預(yù)測(cè)結(jié)果的第一信心分?jǐn)?shù)決定該偽標(biāo)記閾值的步驟包括：

3.根據(jù)權(quán)利要求2所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，其中所述多個(gè)類別包括第一類別，且自該至少一個(gè)第一樣本的該第一預(yù)測(cè)結(jié)果的第一信心分?jǐn)?shù)挑選一者作為該偽標(biāo)記閾值的步驟包括：

4.根據(jù)權(quán)利要求3所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，其中自已標(biāo)記為該第一類別的該至少一個(gè)第一樣本的該第一預(yù)測(cè)結(jié)果中對(duì)應(yīng)于該第一類別的該第一信心分?jǐn)?shù)挑選一者作為用于比對(duì)該第二樣本中該第一類別的該偽標(biāo)記閾值的步驟包括：

5.根據(jù)權(quán)利要求4所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，還包括：

6.根據(jù)權(quán)利要求1所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，其中依據(jù)該未標(biāo)記數(shù)據(jù)集中的該至少一個(gè)第二樣本的該第二預(yù)測(cè)結(jié)果的第二信心分?jǐn)?shù)與該偽標(biāo)記閾值的該比較結(jié)果更新該機(jī)器學(xué)習(xí)模型的步驟包括：

7.根據(jù)權(quán)利要求6所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，其中允許將其第二信心分?jǐn)?shù)中的該最高分?jǐn)?shù)未小于該偽標(biāo)記閾值的該第二預(yù)測(cè)結(jié)果用于更新該機(jī)器學(xué)習(xí)模型的步驟包括：

8.根據(jù)權(quán)利要求7所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，還包括：

9.根據(jù)權(quán)利要求1所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，還包括：

10.根據(jù)權(quán)利要求1所述的半監(jiān)督式學(xué)習(xí)的優(yōu)化方法，還包括：

11.一種運(yùn)算裝置，適用于已標(biāo)記數(shù)據(jù)集及未標(biāo)記數(shù)據(jù)集，該已標(biāo)記數(shù)據(jù)集中的至少一個(gè)第一樣本已標(biāo)記為多個(gè)類別中的一者，該未標(biāo)記數(shù)據(jù)集中的至少一個(gè)第二樣本尚未標(biāo)記為所述多個(gè)類別中的一者，且該運(yùn)算裝置包括：

12.根據(jù)權(quán)利要求11所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

13.根據(jù)權(quán)利要求12所述的運(yùn)算裝置，其中所述多個(gè)類別包括第一類別，且該處理器還執(zhí)行：

14.根據(jù)權(quán)利要求13所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

15.根據(jù)權(quán)利要求14所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

16.根據(jù)權(quán)利要求11所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

17.根據(jù)權(quán)利要求16所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

18.根據(jù)權(quán)利要求17所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

19.根據(jù)權(quán)利要求11所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

20.根據(jù)權(quán)利要求11所述的運(yùn)算裝置，其中該處理器還執(zhí)行：

技術(shù)總結(jié)
本發(fā)明提供一種半監(jiān)督式學(xué)習(xí)的優(yōu)化方法及運(yùn)算裝置。在方法中，通過(guò)機(jī)器學(xué)習(xí)模型分別決定已標(biāo)記數(shù)據(jù)集的第一預(yù)測(cè)結(jié)果及未標(biāo)記數(shù)據(jù)集的第二預(yù)測(cè)結(jié)果。依據(jù)已標(biāo)記數(shù)據(jù)集中的第一樣本的第一預(yù)測(cè)結(jié)果的第一信心分?jǐn)?shù)決定偽標(biāo)記閾值。依據(jù)未標(biāo)記數(shù)據(jù)集中的第二樣本的第二預(yù)測(cè)結(jié)果的第二信心分?jǐn)?shù)與偽標(biāo)記閾值的比較結(jié)果更新機(jī)器學(xué)習(xí)模型。借此，可改善半監(jiān)督式學(xué)習(xí)的準(zhǔn)確度。

技術(shù)研發(fā)人員：郭峻因,洪偉庭
受保護(hù)的技術(shù)使用者：緯創(chuàng)資通股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30