本發(fā)明涉及人工智能,尤其涉及一種模型處理方法、裝置、電子設備及存儲介質。
背景技術:
1、隨著人工智能的迅速發(fā)展,越來越多的文章等內容通過人工智能模型生成,以代替人工撰寫。在針對人工智能(artificial?intelligence,ai)生成內容的識別分類過程中,往往需要將文本逐句輸入識別模型,以識別該文本是否是ai生成的,但這樣識別的準確率并不高。
技術實現(xiàn)思路
1、本申請實施例提供了一種模型處理方法、裝置、電子設備及存儲介質,以解決文本識別準確率低的技術問題。
2、根據(jù)本申請實施例的一個方面,提供了一種模型處理方法,包括:將訓練文本拆分為多個中心句,并確定每個中心句相關的環(huán)境句;基于第一系數(shù)、第二系數(shù)、以及所述中心句與相關的環(huán)境句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布;所述第一系數(shù)表征所述中心句的第一權重向所述中心句相關的環(huán)境句的第二權重分散的程度;所述第二系數(shù)與所述中心句相關的環(huán)境句數(shù)量相關;基于每個所述中心句對應的第一權重和第二權重將所述訓練文本輸入預定模型,以訓練所述預定模型;所述預定模型用于識別目標文本。
3、進一步,所述基于第一系數(shù)、第二系數(shù)、以及所述中心句與相關的環(huán)境句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布,包括:基于第一系數(shù)和第二系數(shù)確定權重分散系數(shù);確定所述中心句與相關的環(huán)境句在所述訓練文本中的距離與所述權重分散系數(shù)的乘積;基于所述乘積確定所述中心句相關的環(huán)境句的第二權重;基于所述中心句相關的全部環(huán)境句的第二權重,確定所述中心句的第一權重。
4、進一步,所述基于所述乘積確定所述中心句相關的環(huán)境句的第二權重,包括:基于所述乘積和預定值確定所述中心句相關的環(huán)境句的第二權重;所述預定值為所述第一系數(shù)與1相加后的倒數(shù)。
5、進一步,在基于第一系數(shù)、第二系數(shù)、以及所述環(huán)境句與相關的中心句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布之前,所述方法還包括:在所述訓練文本的首端和尾端分別添加預定數(shù)量的空字符串;確定添加所述空字符串后的訓練文本中每一所述中心句以及所述中心句相關的環(huán)境句的位置;基于每一所述中心句以及所述中心句相關的環(huán)境句的位置,確定所述中心句與相關的環(huán)境句在所述訓練文本中的距離。
6、進一步,所述預定數(shù)量等于所述第二系數(shù)減1。
7、進一步,所述方法還包括:基于所述訓練文本的文本長度確定第一系數(shù)和/或第二系數(shù);獲取所述預定模型上一次訓練的學習率;所述基于每個所述中心句對應的第一權重和第二權重將所述訓練文本輸入預定模型,以訓練所述預定模型,包括:基于每個所述中心句對應的第一權重和第二權重以及所述學習率,將所述訓練文本輸入預定模型,以訓練所述預定模型。
8、進一步,在將訓練文本拆分為多個中心句,并確定每個中心句相關的環(huán)境句之前,所述方法還包括:在第一訓練集和第二訓練集中獲取訓練文本;所述第一訓練集包括多個第一類文本和多個第二類文本;所述第二訓練集包括多個文本組,每一所述文本組包含一個問題文本、所述問題文本對應的一個第一類文本、以及所述問題文本對應的一個第二類文本。
9、根據(jù)本申請實施例的另一個方面,還提供了一種模型處理裝置,包括:拆分模塊,用于將訓練文本拆分為多個中心句,并確定每個中心句相關的環(huán)境句;調整模塊,用于基于第一系數(shù)、第二系數(shù)、以及所述中心句與相關的環(huán)境句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布;所述第一系數(shù)表征所述中心句的第一權重向所述中心句相關的環(huán)境句的第二權重分散的程度;所述第二系數(shù)與所述中心句相關的環(huán)境句數(shù)量相關;訓練模塊,用于基于每個所述中心句對應的第一權重和第二權重將所述訓練文本輸入預定模型,以訓練所述預定模型;所述預定模型用于識別目標文本。
10、進一步,所述調整模塊,具體用于:基于第一系數(shù)和第二系數(shù)確定權重分散系數(shù);確定所述中心句與相關的環(huán)境句在所述訓練文本中的距離與所述權重分散系數(shù)的乘積;基于所述乘積確定所述中心句相關的環(huán)境句的第二權重;基于所述中心句相關的全部環(huán)境句的第二權重,確定所述中心句的第一權重。
11、進一步,所述調整模塊,具體用于:基于所述乘積和預定值確定所述中心句相關的環(huán)境句的第二權重;所述預定值為所述第一系數(shù)與1相加后的倒數(shù)。
12、進一步,所述調整模塊,還用于:在所述訓練文本的首端和尾端分別添加預定數(shù)量的空字符串;確定添加所述空字符串后的訓練文本中每一所述中心句以及所述中心句相關的環(huán)境句的位置;基于每一所述中心句以及所述中心句相關的環(huán)境句的位置,確定所述中心句與相關的環(huán)境句在所述訓練文本中的距離。
13、進一步,所述預定數(shù)量等于所述第二系數(shù)減1。
14、進一步,所述訓練模塊,具體用于:基于所述訓練文本的文本長度確定第一系數(shù)和/或第二系數(shù);獲取所述預定模型上一次訓練的學習率;基于每個所述中心句對應的第一權重和第二權重以及所述學習率,將所述訓練文本輸入預定模型,以訓練所述預定模型。
15、進一步,所述拆分模塊,還用于:在第一訓練集和第二訓練集中獲取訓練文本;所述第一訓練集包括多個第一類文本和多個第二類文本;所述第二訓練集包括多個文本組,每一所述文本組包含一個問題文本、所述問題文本對應的一個第一類文本、以及所述問題文本對應的一個第二類文本。
16、根據(jù)本申請實施例的另一方面,還提供了一種存儲介質,該存儲介質包括存儲的程序,程序運行時執(zhí)行上述方法中的步驟。
17、根據(jù)本申請實施例的另一方面,還提供了一種電子設備,包括處理器、通信接口、存儲器和通信總線,其中,處理器,通信接口,存儲器通過通信總線完成相互間的通信;其中:存儲器,用于存放計算機程序;處理器,用于通過運行存儲器上所存放的程序來執(zhí)行上述方法中的步驟。
18、本申請實施例還提供了一種包含指令的計算機程序產品,當其在計算機上運行時,使得計算機執(zhí)行上述方法中的步驟。
19、本申請實施例提出的一種模型處理方法、裝置、電子設備及存儲介質,該方法將訓練文本拆分為多個中心句,并確定每個中心句相關的環(huán)境句;基于第一系數(shù)、第二系數(shù)、以及所述中心句與相關的環(huán)境句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布;所述第一系數(shù)表征所述中心句的第一權重向所述中心句相關的環(huán)境句的第二權重分散的程度;所述第二系數(shù)與所述中心句相關的環(huán)境句數(shù)量相關;基于每個所述中心句對應的第一權重和第二權重將所述訓練文本輸入預定模型,以訓練所述預定模型;所述預定模型用于識別目標文本。如此,在將文本輸入模型前對每個句子的權重進行調整,將一個句子的權重根據(jù)環(huán)境句數(shù)量和所需的分散程度分散到與其相關的環(huán)境句中,可以提高每個句子在文本中與其他句子的關聯(lián)性,避免針對每個句子做獨立的處理,從而提高模型處理中的文本上下文關聯(lián)性,進而提升模型對文本內容識別分類等方面的性能。
1.一種模型處理方法,其特征在于,包括:
2.根據(jù)權利要求1所述的方法,其特征在于,所述基于第一系數(shù)、第二系數(shù)、以及所述中心句與相關的環(huán)境句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布,包括:
3.根據(jù)權利要求2所述的方法,其特征在于,所述基于所述乘積確定所述中心句相關的環(huán)境句的第二權重,包括:
4.根據(jù)權利要求1所述的方法,其特征在于,在基于第一系數(shù)、第二系數(shù)、以及所述環(huán)境句與相關的中心句在所述訓練文本中的距離,調整每一所述中心句和相關的環(huán)境句之間的權重分布之前,所述方法還包括:
5.根據(jù)權利要求4所述的方法,其特征在于,所述預定數(shù)量等于所述第二系數(shù)減1。
6.根據(jù)權利要求1所述的方法,其特征在于,所述方法還包括:
7.根據(jù)權利要求1所述的方法,其特征在于,在將訓練文本拆分為多個中心句,并確定每個中心句相關的環(huán)境句之前,所述方法還包括:
8.一種模型處理裝置,其特征在于,包括:
9.一種電子設備,其特征在于,所述電子設備包括存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述計算機程序被所述處理器執(zhí)行時實現(xiàn)如權利要求1至7中任一項所述的模型處理方法的步驟。
10.一種存儲介質,其特征在于,所述存儲介質上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7中任一項所述的模型處理方法的步驟。