欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

大語(yǔ)言模型LLM的混淆詞挖掘方法、裝置和存儲(chǔ)介質(zhì)與流程

文檔序號(hào):40609837發(fā)布日期:2025-01-07 20:51閱讀:8來(lái)源:國(guó)知局
大語(yǔ)言模型LLM的混淆詞挖掘方法、裝置和存儲(chǔ)介質(zhì)與流程

本技術(shù)涉及計(jì)算機(jī)領(lǐng)域,具體而言,涉及一種大語(yǔ)言模型llm的混淆詞挖掘方法、裝置和存儲(chǔ)介質(zhì)。


背景技術(shù):

1、相關(guān)技術(shù)對(duì)大語(yǔ)言模型llm的混淆詞挖掘,通常是使用傳統(tǒng)的混淆詞典,或使用單獨(dú)訓(xùn)練的混淆詞識(shí)別模型,但混淆詞典在更新不及時(shí)的情況下會(huì)影響混淆詞的準(zhǔn)確性,而單獨(dú)訓(xùn)練的混淆詞識(shí)別模型又會(huì)增加成本,且混淆詞識(shí)別模型的應(yīng)用較為單一,付出高成本訓(xùn)練后,通常也只能用于識(shí)別混淆詞,性價(jià)比較低,因此使用單獨(dú)訓(xùn)練的混淆詞識(shí)別模型也無(wú)法作為提升混淆詞獲取準(zhǔn)確性的一種有效方式。即,相關(guān)技術(shù)中存在大語(yǔ)言模型llm的混淆詞挖掘準(zhǔn)確性較低的技術(shù)問(wèn)題。


技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種大語(yǔ)言模型llm的混淆詞挖掘方法、裝置和存儲(chǔ)介質(zhì)及電子設(shè)備,以至少解決大語(yǔ)言模型llm的混淆詞挖掘準(zhǔn)確性較低的技術(shù)問(wèn)題。

2、根據(jù)本技術(shù)實(shí)施例的一個(gè)方面,提供了一種大語(yǔ)言模型llm的混淆詞挖掘方法,包括:獲取第一文本信息,其中,上述第一文本信息中包含第一文本詞;在確定出上述第一文本詞的至少一個(gè)候選混淆詞的情況下,使用上述候選混淆詞替代上述第一文本信息中的上述第一文本詞,得到第二文本信息;將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果,其中,上述llm為利用多個(gè)樣本進(jìn)行訓(xùn)練得到的、用于識(shí)別文本信息的神經(jīng)網(wǎng)絡(luò)模型;在上述第一識(shí)別結(jié)果和上述第二識(shí)別結(jié)果存在差異的情況下,確定上述候選混淆詞和上述第一文本詞屬于同一混淆詞對(duì)。

3、根據(jù)本技術(shù)實(shí)施例的另一方面,還提供了一種大語(yǔ)言模型llm的混淆詞挖掘裝置,包括:第一獲取單元,用于獲取第一文本信息,其中,上述第一文本信息中包含第一文本詞;第一替代單元,用于在確定出上述第一文本詞的至少一個(gè)候選混淆詞的情況下,使用上述候選混淆詞替代上述第一文本信息中的上述第一文本詞,得到第二文本信息;第一識(shí)別單元,用于將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果,其中,上述llm為利用多個(gè)樣本進(jìn)行訓(xùn)練得到的、用于識(shí)別文本信息的神經(jīng)網(wǎng)絡(luò)模型;第一確定單元,用于在上述第一識(shí)別結(jié)果和上述第二識(shí)別結(jié)果存在差異的情況下,確定上述候選混淆詞和上述第一文本詞屬于同一混淆詞對(duì)。

4、作為一種可選的方案,上述裝置還包括:第一輸入單元,用于在上述獲取第一文本信息之后,將上述第一文本詞輸入上述llm,并指示上述llm進(jìn)行混淆詞輸出,得到上述候選混淆詞。

5、作為一種可選的方案,上述裝置還包括:第二輸入單元,用于在上述將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果之后,在上述第一識(shí)別結(jié)果指示上述第一文本信息的表意有誤、且上述第二識(shí)別結(jié)果也指示上述第二文本信息的表意有誤的情況下,將上述第一文本詞輸入上述llm,并指示上述llm進(jìn)行除上述候選混淆詞外的混淆詞輸出,得到新的混淆詞;第二替代單元,用于在上述將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果之后,使用上述新的混淆詞替代上述第一文本信息中的上述第一文本詞,得到新的文本信息;第二識(shí)別單元,用于在上述將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果之后,將上述新的文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述新的文本信息對(duì)應(yīng)的第三識(shí)別結(jié)果;第二確定單元,用于在上述將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果之后,在上述第三識(shí)別結(jié)果指示上述新的文本信息的表意無(wú)誤的情況下,確定上述新的混淆詞和上述第一文本詞屬于同一混淆詞對(duì)。

6、作為一種可選的方案,上述裝置還包括:添加單元,用于在上述確定上述候選混淆詞和上述第一文本詞屬于同一混淆詞對(duì)之后,將上述候選混淆詞和上述第一文本詞添加至混淆詞庫(kù),其中,上述混淆詞庫(kù)用于存儲(chǔ)具有混淆關(guān)系的多個(gè)文本詞,確定為同一混淆詞對(duì)的上述候選混淆詞和上述第一文本詞之間視為具有上述混淆關(guān)系。

7、作為一種可選的方案,上述裝置還包括:第二獲取單元,用于在上述將上述候選混淆詞和上述第一文本詞添加至混淆詞庫(kù)之后,獲取第三文本信息,其中,上述第三文本信息中包含第二文本詞;第三獲取單元,用于在上述將上述候選混淆詞和上述第一文本詞添加至混淆詞庫(kù)之后,在識(shí)別出上述第三文本信息的表意有誤的情況下,從上述混淆詞庫(kù)中確定出與上述第二文本詞具有上述混淆關(guān)系的第三文本詞;第四獲取單元,用于在上述將上述候選混淆詞和上述第一文本詞添加至混淆詞庫(kù)之后,使用上述第三文本詞替代上述第三文本信息中的上述第二文本詞,得到第四文本信息。

8、作為一種可選的方案,上述裝置還包括:第三確定單元,用于在上述將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果之后,在上述第一識(shí)別結(jié)果指示上述第一文本信息的表意無(wú)誤、上述第二識(shí)別結(jié)果指示上述第二文本信息的表意有誤,或,上述第一識(shí)別結(jié)果指示上述第一文本信息的表意有誤、上述第二識(shí)別結(jié)果指示上述第二文本信息的表意無(wú)誤的情況下,確定上述第一識(shí)別結(jié)果和上述第二識(shí)別結(jié)果存在差異;或,在上述第一識(shí)別結(jié)果指示上述第一文本信息的表意無(wú)誤、且上述第二識(shí)別結(jié)果也指示上述第二文本信息的表意無(wú)誤的情況下,確定上述第一文本信息和上述第二文本信息屬于混淆語(yǔ)句對(duì)。

9、作為一種可選的方案,上述裝置還包括:第五獲取單元,用于在上述將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果之前,獲取以下至少之一的輔助識(shí)別信息:上述第一文本信息所屬領(lǐng)域的領(lǐng)域信息、上述第一文本信息所在信息內(nèi)容的上下文信息;上述第一識(shí)別單元,包括:識(shí)別模塊,用于將上述輔助識(shí)別信息、上述第一文本信息和上述第二文本信息輸入上述llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一識(shí)別結(jié)果和上述第二識(shí)別結(jié)果。

10、根據(jù)本技術(shù)實(shí)施例的又一個(gè)方面,提供一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序,該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令,該計(jì)算機(jī)指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取該計(jì)算機(jī)指令,處理器執(zhí)行該計(jì)算機(jī)指令,使得該計(jì)算機(jī)設(shè)備執(zhí)行如以上大語(yǔ)言模型llm的混淆詞挖掘方法。

11、根據(jù)本技術(shù)實(shí)施例的又一方面,還提供了一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,其中,上述處理器通過(guò)計(jì)算機(jī)程序執(zhí)行上述的大語(yǔ)言模型llm的混淆詞挖掘方法。

12、在本技術(shù)實(shí)施例中,獲取第一文本信息,其中,上述第一文本信息中包含第一文本詞;在確定出上述第一文本詞的至少一個(gè)候選混淆詞的情況下,使用上述候選混淆詞替代上述第一文本信息中的上述第一文本詞,得到第二文本信息;將上述第一文本信息和上述第二文本信息輸入llm,并指示上述llm進(jìn)行語(yǔ)義識(shí)別,得到上述第一文本信息對(duì)應(yīng)的第一識(shí)別結(jié)果,和上述第二文本信息對(duì)應(yīng)的第二識(shí)別結(jié)果,其中,上述llm為利用多個(gè)樣本進(jìn)行訓(xùn)練得到的、用于識(shí)別文本信息的神經(jīng)網(wǎng)絡(luò)模型;在所述第一識(shí)別結(jié)果和所述第二識(shí)別結(jié)果存在差異的情況下,確定所述候選混淆詞和所述第一文本詞屬于同一混淆詞對(duì)。在確定出上述第一文本詞的至少一個(gè)候選混淆詞的情況下,無(wú)法保障候選混淆詞的準(zhǔn)確性,而使用單獨(dú)訓(xùn)練出的混淆詞識(shí)別模型又會(huì)增加大語(yǔ)言模型llm的混淆詞挖掘成本,進(jìn)一步利用比較通用的大語(yǔ)言模型,對(duì)原文本信息和帶有候選混淆詞的文本信息進(jìn)行語(yǔ)義識(shí)別,再通過(guò)大語(yǔ)言模型輸出的語(yǔ)義識(shí)別結(jié)果間接判斷候選混淆詞是否準(zhǔn)確,進(jìn)而達(dá)到了無(wú)需單獨(dú)訓(xùn)練出混淆詞識(shí)別模型,仍可得到準(zhǔn)確性較高的混淆詞的目的,從而實(shí)現(xiàn)了提高大語(yǔ)言模型llm的混淆詞挖掘準(zhǔn)確性的技術(shù)效果,進(jìn)而解決了大語(yǔ)言模型llm的混淆詞挖掘準(zhǔn)確性較低的技術(shù)問(wèn)題。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
贵港市| 林芝县| 梅河口市| 新干县| 京山县| 崇义县| 胶州市| 南华县| 孟村| 阜南县| 阜宁县| 竹北市| 景泰县| 拜城县| 贡嘎县| 蓬莱市| 大渡口区| 钟祥市| 新泰市| 寿光市| 虎林市| 沙坪坝区| 堆龙德庆县| 肃北| 西畴县| 报价| 临洮县| 新津县| 新闻| 烟台市| 内江市| 海晏县| 石狮市| 长武县| 斗六市| 泽库县| 新兴县| 阳朔县| 焉耆| 墨脱县| 林芝县|