本發(fā)明涉及電數(shù)字數(shù)據(jù)處理領(lǐng)域,具體涉及一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng)。
背景技術(shù):
1、大模型作為人工智能領(lǐng)域的前沿技術(shù),近年來在自然語言處理、計算機視覺等領(lǐng)域取得了顯著的進展,基于深度學(xué)習(xí)技術(shù),大模型通過海量數(shù)據(jù)訓(xùn)練,能夠生成高質(zhì)量的文本、圖像、代碼等內(nèi)容,極大提升了機器的語言理解和生成能力,這類模型通常具備數(shù)十億甚至上百億的參數(shù),能對復(fù)雜的語義結(jié)構(gòu)進行建模,從而實現(xiàn)多種任務(wù)的自動化處理。但是,目前的生成內(nèi)容雖然能避免大部分基礎(chǔ)錯誤,但是仍容易出現(xiàn)前后矛盾的錯誤,這類誤差不易被發(fā)現(xiàn),因此需要一種更加完善的檢測與校正系統(tǒng)來優(yōu)化生成內(nèi)容。
2、背景技術(shù)的前述論述僅意圖便于理解本發(fā)明。此論述并不認可或承認提及的材料中的任一種公共常識的一部分。
3、現(xiàn)在已經(jīng)開發(fā)出了很多內(nèi)容檢測系統(tǒng),經(jīng)過大量的檢索與參考,發(fā)現(xiàn)現(xiàn)有的內(nèi)容檢測系統(tǒng)有如公開號為cn103176984b所公開的系統(tǒng),這些系統(tǒng)方法一般包括:對設(shè)定用戶生成內(nèi)容信息源中的信息進行爬取并生成用戶生成內(nèi)容網(wǎng)頁集合,然后對用戶生成內(nèi)容網(wǎng)頁進行標注,得到候選欺騙性垃圾意見集合;2)對集合中的樣本進行過濾,形成準確欺騙性垃圾意見集合;3)從意見作者、意見內(nèi)容、內(nèi)容分布、鏈接四個緯度對準確欺騙性垃圾意見集合及無標注用戶生成內(nèi)容網(wǎng)頁集合樣本進行特征提取,生成每一維度的特征向量;4)采用機器學(xué)習(xí)方法建立每一維度的欺騙性垃圾意見檢測模型;5)利用所述欺騙性垃圾意見檢測模型等對新爬取的用戶生成內(nèi)容網(wǎng)頁進行欺騙性垃圾意見檢測。但該系統(tǒng)僅適用于檢測出較為明顯的錯誤信息,不容易發(fā)現(xiàn)前后聯(lián)系產(chǎn)生的矛盾錯誤。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于,針對所存在的不足,提出了一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng)。
2、本發(fā)明采用如下技術(shù)方案:
3、一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng),包括內(nèi)容接收模塊、內(nèi)容檢測模塊、內(nèi)容校正模塊和反饋輸出模塊;
4、所述內(nèi)容接收模塊用于接收大模型的生成內(nèi)容,所述內(nèi)容檢測模塊用于對生成內(nèi)容中存在的誤差信息進行檢測,所述內(nèi)容校正模塊基于檢測結(jié)果對生成內(nèi)容進行校正處理,所述反饋輸出模塊用于將修正后的內(nèi)容進行匯總并反饋至對應(yīng)的大模型;
5、所述內(nèi)容接收模塊包括模型管理單元、接口連接單元和信息傳輸單元,所述模型管理單元用于對進行連接的大模型信息進行管理,所述接口連接單元基于大模型信息與大模型的輸出接口進行連接,所述信息傳輸單元用于接收存儲大模型輸出的生成內(nèi)容;
6、所述內(nèi)容檢測模塊包括誤差分析單元、屬性評估單元和多層檢測單元,所述誤差分析單元用于對分析目標的基礎(chǔ)性誤差進行分析,所述屬性評估單元用于對分析目標賦予屬性信息,所述多層檢測單元基于屬性信息對多個分析目標之間的關(guān)系性誤差進行檢測;
7、所述內(nèi)容校正模塊包括誤差接收單元、誤差匹配單元和校正替換單元,所述誤差接收單元用于接收內(nèi)容檢測模塊發(fā)送的誤差信息,所述誤差匹配單元基于誤差信息匹配到對應(yīng)校正方式,所述校正替換單元基于校正方式對生成內(nèi)容進行信息替換;
8、所述反饋輸出模塊包括項目管理單元、匯總管理單元和反饋處理單元,所述項目管理單元用于創(chuàng)建檢測校正項目并接收對應(yīng)的數(shù)據(jù),所述匯總管理單元用于將校正內(nèi)容進行匯總并判斷項目中的生成內(nèi)容是否處理完畢,所述反饋處理單元用于將校正后的生成內(nèi)容發(fā)送至項目對應(yīng)的大模型。
9、進一步的,所述誤差分析單元包括目標提取處理器、基礎(chǔ)規(guī)則寄存器和誤差對比處理器,所述目標提取處理器用于從生成內(nèi)容中提取出分析目標,所述基礎(chǔ)規(guī)則寄存器用于保存基礎(chǔ)規(guī)則信息,所述誤差對比處理器基于規(guī)則信息對分析目標進行對比處理。
10、進一步的,所述多層檢測單元包括屬性鏈式處理器、沖突賦值處理器和誤差篩選處理器,所述屬性鏈式處理器用于從分析目標中篩選出具有屬性關(guān)聯(lián)性的多個分析目標形成鏈式目標,所述沖突賦值處理器用于對鏈式目標中的分析目標進行沖突性賦值,所述誤差篩選處理器基于賦值篩選出作為誤差的分析目標。
11、進一步的,所述誤差篩選處理器從鏈式目標中篩選出分析目標的過程包括如下步驟:
12、s1、計算出相鄰兩個分析目標的沖突差以及沖突性質(zhì)nt:
13、;
14、;
15、其中,v1和v2分別為相鄰分析目標的沖突值;
16、s2、在沖突性質(zhì)nt為-1的兩個分析目標之間進行切分,將鏈式目標切分成多個目標段;
17、s2、根據(jù)下式計算出相鄰兩個目標段的最大累計沖突值av:
18、;
19、其中,n為第一個目標段中的起始沖突差序號,m為第二個目標段中的結(jié)束沖突差序號,w為兩個目標段的切分沖突差序號,p(n,m,w)為累計沖突函數(shù);
20、s3、篩選出最大累計沖突值大于閾值的序號參數(shù)n、m和w,將鏈式目標中第w-n個分析目標和第w+m+1個分析目標作為誤差配對;
21、s4、根據(jù)下式計算出誤差配對中分析目標的修正指數(shù);
22、s5、將修正指數(shù)較大的分析目標作為誤差發(fā)送給內(nèi)容校正模塊。
23、進一步的,步驟s4中分析目標的修正指數(shù)的計算公式如下:
24、;
25、;
26、其中,q(x)表示第x個分析目標的修正指數(shù),表示第x個分析目標與第i個分析目標的沖突差,q(y)表示第y個分析目標的修正指數(shù),表示第i個分析目標與第y個分析目標的沖突差,x和y分別表示誤差配對中分析目標的序號。
27、本發(fā)明所取得的有益效果是:
28、本系統(tǒng)將生成內(nèi)容分成多個分析目標,除了能夠?qū)Ψ治瞿繕藛为毺幚頇z測出常見的基礎(chǔ)誤差外,還通過對分析目標賦予屬性,通過屬性獲得由多個分析目標構(gòu)成的鏈式目標,并對鏈式目標中的分析目標進行關(guān)聯(lián)性量化處理,檢測出前后存在的矛盾之處并進行校正,能夠大大優(yōu)化大模型的生成內(nèi)容。
29、為使能更進一步了解本發(fā)明的特征及技術(shù)內(nèi)容,請參閱以下有關(guān)本發(fā)明的詳細說明與附圖,然而所提供的附圖僅用于提供參考與說明,并非用來對本發(fā)明加以限制。
1.一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng),其特征在于,包括內(nèi)容接收模塊、內(nèi)容檢測模塊、內(nèi)容校正模塊和反饋輸出模塊;
2.如權(quán)利要求1所述的一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng),其特征在于,所述誤差分析單元包括目標提取處理器、基礎(chǔ)規(guī)則寄存器和誤差對比處理器,所述目標提取處理器用于從生成內(nèi)容中提取出分析目標,所述基礎(chǔ)規(guī)則寄存器用于保存基礎(chǔ)規(guī)則信息,所述誤差對比處理器基于規(guī)則信息對分析目標進行對比處理。
3.如權(quán)利要求2所述的一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng),其特征在于,所述多層檢測單元包括屬性鏈式處理器、沖突賦值處理器和誤差篩選處理器,所述屬性鏈式處理器用于從分析目標中篩選出具有屬性關(guān)聯(lián)性的多個分析目標形成鏈式目標,所述沖突賦值處理器用于對鏈式目標中的分析目標進行沖突性賦值,所述誤差篩選處理器基于賦值篩選出作為誤差的分析目標。
4.如權(quán)利要求3所述的一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng),其特征在于,所述誤差篩選處理器從鏈式目標中篩選出分析目標的過程包括如下步驟:
5.如權(quán)利要求4所述的一種大模型生成內(nèi)容的誤差檢測與校正系統(tǒng),其特征在于,步驟s4中分析目標的修正指數(shù)的計算公式如下: