本申請涉及人工智能，尤其涉及一種句向量的確定方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、文本的句向量提取方法可以實(shí)現(xiàn)將人類語言的復(fù)雜性和豐富性轉(zhuǎn)化為計(jì)算機(jī)可以理解和處理的數(shù)值表示。在實(shí)際應(yīng)用中，句向量的質(zhì)量直接影響下游任務(wù)的性能。比如，在構(gòu)建醫(yī)療問答系統(tǒng)時，需要對用戶的問題和系統(tǒng)中的答案進(jìn)行向量轉(zhuǎn)換，以便通過計(jì)算向量間的相似度來找到最相關(guān)的答案。又比如，在對金融文本(如新聞報道、公司公告、社交媒體輿情等)進(jìn)行分析時，句向量的生成可以幫助識別文本中的風(fēng)險信號或積極因素。

2、現(xiàn)有的句向量確定方法往往難以全面考慮句子的語法結(jié)構(gòu)、詞序信息、上下文語境等多個維度。這導(dǎo)致生成的向量可能丟失關(guān)鍵語義信息，無法準(zhǔn)確區(qū)分細(xì)微的語義差異。因此，如何提取出準(zhǔn)確性高的句向量，成為句向量研究中亟待解決的關(guān)鍵問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例的目的在于提出一種句向量的確定方法、裝置、設(shè)備及介質(zhì)，以解決現(xiàn)有文本的句向量提取的準(zhǔn)確性較低的問題。

2、為了解決上述技術(shù)問題，本申請實(shí)施例提供一種句向量的確定方法，采用了如下的技術(shù)方案：

3、獲取目標(biāo)文本的多個分詞，多個分詞包括標(biāo)識分詞和多個目標(biāo)分詞；采用預(yù)設(shè)的自然語言模型，分別對標(biāo)識分詞和多個目標(biāo)分詞進(jìn)行向量轉(zhuǎn)換，得到標(biāo)識分詞對應(yīng)的多個標(biāo)識詞向量，以及得到每個目標(biāo)分詞對應(yīng)的多個詞向量，自然語言模型包括多個網(wǎng)絡(luò)層，每個詞向量和每個標(biāo)識詞向量由每個網(wǎng)絡(luò)層對應(yīng)輸出；對多個詞向量進(jìn)行雙向池化，得到表征多個目標(biāo)分詞的候選句向量，對多個標(biāo)識詞向量進(jìn)行縱向池化，得到表征標(biāo)識分詞的標(biāo)識句向量；采用預(yù)設(shè)的全連接矩陣和預(yù)設(shè)的歸一化函數(shù)，分別計(jì)算候選句向量的目標(biāo)權(quán)重，以及計(jì)算標(biāo)識句向量的標(biāo)識權(quán)重；基于候選句向量、目標(biāo)權(quán)重、標(biāo)識句向量以及標(biāo)識權(quán)重，得到目標(biāo)文本的目標(biāo)句向量。

4、進(jìn)一步的，對多個詞向量進(jìn)行雙向池化，得到表征多個目標(biāo)分詞的候選句向量的步驟，具體包括：

5、基于多個網(wǎng)絡(luò)層和每個目標(biāo)分詞，對多個詞向量進(jìn)行劃分，得到多個詞向量集，每個詞向量集包括同一網(wǎng)絡(luò)層輸出的多個目標(biāo)分詞對應(yīng)的詞向量；對每個詞向量集的詞向量進(jìn)行橫向池化，得到每個詞向量集對應(yīng)的初始句向量；對初始句向量進(jìn)行縱向池化，得到表征多個目標(biāo)分詞的候選句向量。

6、進(jìn)一步的，對每個詞向量集的詞向量進(jìn)行橫向池化，得到每個詞向量集對應(yīng)的初始句向量的步驟，具體包括：

7、對每個詞向量集中的詞向量對應(yīng)的數(shù)值進(jìn)行排序，得到排序后的第一分詞值集；采用全連接矩陣和歸一化函數(shù)，計(jì)算第一分詞集中每個數(shù)值對應(yīng)的權(quán)重，得到多個第一權(quán)重值；對第一分詞集中的每個數(shù)值與多個第一權(quán)重值進(jìn)行融合，得到每個詞向量集對應(yīng)的初始句向量。

8、進(jìn)一步的，對初始句向量進(jìn)行縱向池化，得到表征多個目標(biāo)分詞的候選句向量的步驟，具體包括：

9、對初始句向量對應(yīng)的數(shù)值進(jìn)行排序，得到排序后的第二分詞值集；采用全連接矩陣和歸一化函數(shù)，計(jì)算第二分詞值集中每個數(shù)值對應(yīng)的權(quán)重，得到多個第二權(quán)重值；對第二分詞值集中的每個數(shù)值與多個第二權(quán)重值進(jìn)行融合，得到表征多個目標(biāo)分詞的候選句向量。

10、進(jìn)一步的，對多個標(biāo)識詞向量進(jìn)行縱向池化，得到表征標(biāo)識分詞的標(biāo)識句向量的步驟，具體包括：

11、對多個標(biāo)識詞向量對應(yīng)的數(shù)值進(jìn)行排序，得到排序后的標(biāo)識分詞值集；采用全連接矩陣和歸一化函數(shù)，計(jì)算標(biāo)識分詞值集中每個數(shù)值對應(yīng)的權(quán)重，得到標(biāo)識權(quán)重值；對標(biāo)識分詞值集中的每個數(shù)值與標(biāo)識權(quán)重值進(jìn)行融合，得到表征標(biāo)識分詞的標(biāo)識句向量。

12、進(jìn)一步的，采用預(yù)設(shè)的全連接矩陣和預(yù)設(shè)的歸一化函數(shù)，分別計(jì)算候選句向量的目標(biāo)權(quán)重，以及計(jì)算標(biāo)識句向量的標(biāo)識權(quán)重的步驟，具體包括：

13、計(jì)算候選句向量與預(yù)設(shè)的全連接矩陣的權(quán)重之間的乘積，得到候選句向量的第一原始權(quán)重；采用預(yù)設(shè)的歸一化函數(shù)，對第一原始權(quán)重進(jìn)行歸一化處理，得到候選句向量的目標(biāo)權(quán)重；計(jì)算標(biāo)識句向量與預(yù)設(shè)的全連接矩陣的權(quán)重之間的乘積，得到標(biāo)識句向量的第二原始權(quán)重；采用預(yù)設(shè)的歸一化函數(shù)，對第二原始權(quán)重進(jìn)行歸一化處理，得到標(biāo)識句向量的標(biāo)識權(quán)重。

14、進(jìn)一步的，基于候選句向量、目標(biāo)權(quán)重、標(biāo)識句向量以及標(biāo)識權(quán)重，得到目標(biāo)文本的目標(biāo)句向量的步驟，具體包括：

15、對候選句向量、目標(biāo)權(quán)重、標(biāo)識句向量以及標(biāo)識權(quán)重進(jìn)行加權(quán)求和，得到目標(biāo)文本的目標(biāo)句向量。

16、為了解決上述技術(shù)問題，本申請實(shí)施例還提供一種句向量的確定裝置，采用了如下的技術(shù)方案：

17、分詞獲取模塊，獲取目標(biāo)文本的多個分詞，多個分詞包括標(biāo)識分詞和多個目標(biāo)分詞；

18、向量轉(zhuǎn)換模塊，用于采用預(yù)設(shè)的自然語言模型，分別對標(biāo)識分詞和多個目標(biāo)分詞進(jìn)行向量轉(zhuǎn)換，得到標(biāo)識分詞對應(yīng)的多個標(biāo)識詞向量，以及得到每個目標(biāo)分詞對應(yīng)的多個詞向量，自然語言模型包括多個網(wǎng)絡(luò)層，每個詞向量和每個標(biāo)識詞向量由每個網(wǎng)絡(luò)層對應(yīng)輸出；

19、池化模塊，用于對多個詞向量進(jìn)行雙向池化，得到表征多個目標(biāo)分詞的候選句向量，對多個標(biāo)識詞向量進(jìn)行縱向池化，得到表征標(biāo)識分詞的標(biāo)識句向量；

20、權(quán)重計(jì)算模塊，用于采用預(yù)設(shè)的全連接矩陣和預(yù)設(shè)的歸一化函數(shù)，分別計(jì)算候選句向量的目標(biāo)權(quán)重，以及計(jì)算標(biāo)識句向量的標(biāo)識權(quán)重；

21、向量得到模塊，用于基于候選句向量、目標(biāo)權(quán)重、標(biāo)識句向量以及標(biāo)識權(quán)重，得到目標(biāo)文本的目標(biāo)句向量。

22、為了解決上述技術(shù)問題，本申請實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器，存儲器中存儲有計(jì)算機(jī)可讀指令，處理器執(zhí)行計(jì)算機(jī)可讀指令時實(shí)現(xiàn)如上述句向量的確定方法的步驟。

23、為了解決上述技術(shù)問題，本申請實(shí)施例還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)可讀指令，計(jì)算機(jī)可讀指令可被至少一個處理器執(zhí)行，以使至少一個處理器執(zhí)行如上述句向量的確定方法的步驟。

24、與現(xiàn)有技術(shù)相比，本申請實(shí)施例主要有以下有益效果：通過對多個分詞及其對應(yīng)的句向量進(jìn)行雙向池化，如，橫向池化和縱向池化，該方案實(shí)現(xiàn)了從詞級別到句子級別的信息融合。這種多粒度的信息處理方式有助于更全面、準(zhǔn)確地表征文本內(nèi)容，避免了單一粒度信息可能帶來的片面性。通過全連接矩陣和歸一化函數(shù)為候選句向量和標(biāo)識句向量分配動態(tài)權(quán)重，該方案能夠基于數(shù)據(jù)自身特點(diǎn)自動調(diào)整各句向量的貢獻(xiàn)度。這種動態(tài)權(quán)重分配機(jī)制使得最終的目標(biāo)句向量更加聚焦于文本中的關(guān)鍵信息，提高了表示的準(zhǔn)確性。引入標(biāo)識分詞作為文本表征的一部分，并通過特定處理，如縱向池化，得到其標(biāo)識句向量，有助于提升模型對文本整體結(jié)構(gòu)的理解和把握。這種設(shè)計(jì)使得模型在面對不同形式的文本輸入時更加魯棒，能夠更好地適應(yīng)多樣化的應(yīng)用場景。由于該方案能夠生成高度表征性的目標(biāo)句向量，因此它在各種基于文本表示的任務(wù)中，如文本分類、情感分析、語義相似度計(jì)算等，都可以展現(xiàn)出優(yōu)越的性能。這些高性能的表示向量(如，目標(biāo)句向量)能夠作為下游任務(wù)的重要輸入，進(jìn)一步推動相關(guān)任務(wù)的發(fā)展和應(yīng)用。

技術(shù)特征：

1.一種句向量的確定方法，其特征在于，包括下述步驟：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述多個詞向量進(jìn)行雙向池化，得到表征所述多個目標(biāo)分詞的候選句向量的步驟，具體包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對每個詞向量集的詞向量進(jìn)行橫向池化，得到所述每個詞向量集對應(yīng)的初始句向量的步驟，具體包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述初始句向量進(jìn)行縱向池化，得到表征所述多個目標(biāo)分詞的候選句向量的步驟，具體包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述多個標(biāo)識詞向量進(jìn)行縱向池化，得到表征所述標(biāo)識分詞的標(biāo)識句向量的步驟，具體包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用預(yù)設(shè)的全連接矩陣和預(yù)設(shè)的歸一化函數(shù)，分別計(jì)算所述候選句向量的目標(biāo)權(quán)重，以及計(jì)算所述標(biāo)識句向量的標(biāo)識權(quán)重的步驟，具體包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述候選句向量、所述目標(biāo)權(quán)重、所述標(biāo)識句向量以及所述標(biāo)識權(quán)重，得到所述目標(biāo)文本的目標(biāo)句向量的步驟，具體包括：

8.一種句向量的確定裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計(jì)算機(jī)可讀指令，所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述句向量的確定方法的步驟。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述句向量的確定方法的步驟。

技術(shù)總結(jié)
本申請屬于人工智能領(lǐng)域，涉及一種句向量的確定方法，包括：獲取目標(biāo)文本的多個分詞，多個分詞包括標(biāo)識分詞和多個目標(biāo)分詞；采用預(yù)設(shè)的自然語言模型，分別對標(biāo)識分詞和多個目標(biāo)分詞進(jìn)行向量轉(zhuǎn)換，得到多個標(biāo)識詞向量和多個詞句向量；對多個詞向量進(jìn)行雙向池化，得到候選句向量，對多個標(biāo)識詞向量進(jìn)行縱向池化，得到標(biāo)識句向量；采用全連接矩陣和歸一化函數(shù)，分別計(jì)算候選句向量和標(biāo)識句向量的權(quán)重；基于候選句向量、標(biāo)識句向量以及權(quán)重，得到目標(biāo)文本的目標(biāo)句向量。本申請還提供一種句向量的確定裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。此外，本申請還涉及區(qū)塊鏈技術(shù)，目標(biāo)文本以及目標(biāo)句向量可存儲于區(qū)塊鏈中。本申請?zhí)岣呶谋揪湎蛄看_定的準(zhǔn)確性。

技術(shù)研發(fā)人員：舒暢,陳又新
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6