本技術(shù)涉及內(nèi)容生成,特別是涉及一種基于大語(yǔ)言模型的期貨內(nèi)容生成方法和系統(tǒng)。
背景技術(shù):
1、內(nèi)容生成技術(shù)是指利用人工智能算法,將數(shù)據(jù)和信息轉(zhuǎn)換成各種形式的內(nèi)容,包括文本、圖像、音頻和視頻等,這項(xiàng)技術(shù)的核心在于模擬人類的創(chuàng)造力和表達(dá)能力,以自動(dòng)化的方式生成具有一定質(zhì)量和相關(guān)性的內(nèi)容。隨著生成式大模型的快速發(fā)展,讓傳統(tǒng)的內(nèi)容生成有了巨大改進(jìn),但依然面臨生成的內(nèi)容幻覺(jué)、內(nèi)容脈絡(luò)結(jié)構(gòu)不清晰、重點(diǎn)內(nèi)容不突出、篇幅不足、文本表述死板、重復(fù)廢話等問(wèn)題。特別在監(jiān)管嚴(yán)格、數(shù)據(jù)缺少的金融期貨領(lǐng)域,現(xiàn)有的內(nèi)容生成方案離真正的落地運(yùn)用還有著較大距離。
2、目前針對(duì)相關(guān)技術(shù)中如何提高期貨領(lǐng)域中內(nèi)容生成質(zhì)量的問(wèn)題,尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種基于大語(yǔ)言模型的期貨內(nèi)容生成方法和系統(tǒng),以至少解決相關(guān)技術(shù)中如何提高期貨領(lǐng)域中內(nèi)容生成質(zhì)量的問(wèn)題。
2、第一方面,本技術(shù)實(shí)施例提供了一種基于大語(yǔ)言模型的期貨內(nèi)容生成方法,所述方法包括:
3、獲取期貨內(nèi)容生成的基礎(chǔ)數(shù)據(jù),其中,所述基礎(chǔ)數(shù)據(jù)包括期貨指標(biāo)數(shù)據(jù)和期貨事件資訊數(shù)據(jù),所述期貨指標(biāo)數(shù)據(jù)還包括實(shí)時(shí)行情數(shù)據(jù)和宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù);
4、對(duì)所述實(shí)時(shí)行情數(shù)據(jù)進(jìn)行第一預(yù)處理,對(duì)所述宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù)進(jìn)行第二預(yù)處理,對(duì)所述期貨事件資訊數(shù)據(jù)進(jìn)行第三預(yù)處理,進(jìn)而得到用于期貨內(nèi)容生成的基礎(chǔ)指標(biāo)數(shù)據(jù);
5、基于用戶語(yǔ)句,通過(guò)對(duì)所述基礎(chǔ)指標(biāo)數(shù)據(jù)進(jìn)行檢索,得到與所述用戶語(yǔ)句對(duì)應(yīng)的目標(biāo)指標(biāo)數(shù)據(jù);
6、利用基于思維鏈cot的cot提示詞,通過(guò)大語(yǔ)言模型對(duì)所述目標(biāo)指標(biāo)數(shù)據(jù)進(jìn)行處理,以生成所述用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容。
7、在其中一些實(shí)施例中,對(duì)所述實(shí)時(shí)行情數(shù)據(jù)進(jìn)行第一預(yù)處理包括:
8、對(duì)所述實(shí)時(shí)行情數(shù)據(jù)進(jìn)行歸一化處理,得到用于期貨內(nèi)容生成的行情類指標(biāo)數(shù)據(jù),其中,所述歸一化包括z-score歸一化和minmaxscaler歸一化,所述行情類指標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)。
9、在其中一些實(shí)施例中,對(duì)所述宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù)進(jìn)行第二預(yù)處理包括:
10、對(duì)所述宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù)中的元組信息進(jìn)行識(shí)別抽取,以進(jìn)行原始指標(biāo)的統(tǒng)一標(biāo)準(zhǔn)化,得到用于期貨內(nèi)容生成的產(chǎn)業(yè)鏈類指標(biāo)數(shù)據(jù),其中,所述產(chǎn)業(yè)鏈類指標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)。
11、在其中一些實(shí)施例中,對(duì)所述期貨事件資訊數(shù)據(jù)進(jìn)行第三預(yù)處理包括:
12、對(duì)所述期貨事件資訊數(shù)據(jù)的長(zhǎng)文本段落按照文本主題進(jìn)行識(shí)別切分,得到若干短文本段落;
13、分別對(duì)所述短文本段落進(jìn)行摘要分析,得到各個(gè)所述短文本段落對(duì)應(yīng)的事件標(biāo)簽;
14、基于所述短文本段落和對(duì)應(yīng)的事件標(biāo)簽,得到用于期貨內(nèi)容生成的資訊類指標(biāo)數(shù)據(jù),其中,所述資訊類指標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。
15、在其中一些實(shí)施例中,基于用戶語(yǔ)句,通過(guò)對(duì)所述基礎(chǔ)指標(biāo)數(shù)據(jù)進(jìn)行檢索,得到與所述用戶語(yǔ)句對(duì)應(yīng)的目標(biāo)指標(biāo)數(shù)據(jù)包括:
16、獲取用戶輸入的用戶語(yǔ)句,對(duì)所述用戶語(yǔ)句進(jìn)行意圖識(shí)別,得到所述用戶的基礎(chǔ)寫(xiě)作意圖;
17、基于所述用戶的基礎(chǔ)寫(xiě)作意圖,通過(guò)sql查詢語(yǔ)句,對(duì)為所述結(jié)構(gòu)化數(shù)據(jù)的行情類指標(biāo)數(shù)據(jù)和產(chǎn)業(yè)鏈類指標(biāo)數(shù)據(jù)進(jìn)行檢索,得到與所述基礎(chǔ)寫(xiě)作意圖對(duì)應(yīng)的目標(biāo)指標(biāo)數(shù)據(jù);
18、基于所述用戶的基礎(chǔ)寫(xiě)作意圖,通過(guò)es關(guān)鍵詞倒排索引與faiss向量化檢索工具,對(duì)為所述非結(jié)構(gòu)化數(shù)據(jù)的資訊類指標(biāo)數(shù)據(jù)進(jìn)行檢索,得到與所述基礎(chǔ)寫(xiě)作意圖對(duì)應(yīng)的目標(biāo)指標(biāo)數(shù)據(jù)。
19、在其中一些實(shí)施例中,獲取用戶輸入的用戶語(yǔ)句,對(duì)所述用戶語(yǔ)句進(jìn)行意圖識(shí)別,得到所述用戶的基礎(chǔ)寫(xiě)作意圖包括:
20、獲取用戶輸入的用戶語(yǔ)句;
21、基于第一預(yù)設(shè)提示詞,通過(guò)大語(yǔ)言模型對(duì)所述用戶語(yǔ)句進(jìn)行補(bǔ)全改寫(xiě),得到語(yǔ)義要素完整的用戶語(yǔ)句;
22、通過(guò)關(guān)鍵詞匹配和uie模型,對(duì)所述語(yǔ)義要素完整的用戶語(yǔ)句進(jìn)行意圖識(shí)別,得到所述用戶的基礎(chǔ)寫(xiě)作意圖。
23、在其中一些實(shí)施例中,利用基于思維鏈cot的cot提示詞,通過(guò)大語(yǔ)言模型對(duì)所述目標(biāo)指標(biāo)數(shù)據(jù)進(jìn)行處理,以生成所述用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容包括:
24、基于第二預(yù)設(shè)提示詞,通過(guò)大語(yǔ)言模型對(duì)用戶輸入的用戶語(yǔ)句進(jìn)行意圖識(shí)別,得到所述用戶的深層寫(xiě)作意圖,其中,所述深層寫(xiě)作意圖包含寫(xiě)作側(cè)重點(diǎn)、寫(xiě)作字?jǐn)?shù)限制、寫(xiě)作圖表化說(shuō)明和寫(xiě)作免責(zé)聲明;
25、基于所述用戶的深層寫(xiě)作意圖,通過(guò)實(shí)體關(guān)系分析與思維鏈era-cot構(gòu)建cot提示詞;
26、基于所述cot提示詞,通過(guò)大語(yǔ)言模型對(duì)所述目標(biāo)指標(biāo)數(shù)據(jù)進(jìn)行處理,以生成所述用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容。
27、在其中一些實(shí)施例中,生成所述用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容還包括:
28、分別對(duì)大語(yǔ)言模型進(jìn)行不同的功能定義,得到基于大語(yǔ)言模型的寫(xiě)作生成器和寫(xiě)作校驗(yàn)器;
29、所述寫(xiě)作生成器,根據(jù)用戶輸入的用戶語(yǔ)句和所述寫(xiě)作校驗(yàn)器的反饋信息,生成所述用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容;
30、所述寫(xiě)作校驗(yàn)器,對(duì)所述寫(xiě)作生成器生成的期貨內(nèi)容進(jìn)行校對(duì)查錯(cuò),以生成輔助期貨內(nèi)容生成的反饋信息。
31、在其中一些實(shí)施例中,在獲取期貨內(nèi)容生成的基礎(chǔ)數(shù)據(jù)之后,所述方法包括:
32、對(duì)所述基礎(chǔ)數(shù)據(jù)進(jìn)行初始預(yù)處理,其中,所述初始預(yù)處理包括數(shù)據(jù)清洗、異常值剔除和缺失值補(bǔ)全。
33、第二方面,本技術(shù)實(shí)施例提供了一種基于大語(yǔ)言模型的期貨內(nèi)容生成系統(tǒng),所述系統(tǒng)用于執(zhí)行上述第一方面所述的方法,所述系統(tǒng)包括數(shù)據(jù)獲取模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)檢索模塊和內(nèi)容生成模塊;
34、所述數(shù)據(jù)獲取模塊,用于獲取期貨內(nèi)容生成的基礎(chǔ)數(shù)據(jù),其中,所述基礎(chǔ)數(shù)據(jù)包括期貨指標(biāo)數(shù)據(jù)和期貨事件資訊數(shù)據(jù),所述期貨指標(biāo)數(shù)據(jù)還包括實(shí)時(shí)行情數(shù)據(jù)和宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù);
35、所述數(shù)據(jù)預(yù)處理模塊,用于對(duì)所述實(shí)時(shí)行情數(shù)據(jù)進(jìn)行第一預(yù)處理,對(duì)所述宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù)進(jìn)行第二預(yù)處理,對(duì)所述期貨事件資訊數(shù)據(jù)進(jìn)行第三預(yù)處理,進(jìn)而得到用于期貨內(nèi)容生成的基礎(chǔ)指標(biāo)數(shù)據(jù);
36、所述數(shù)據(jù)檢索模塊,用于根據(jù)用戶語(yǔ)句,通過(guò)對(duì)所述基礎(chǔ)指標(biāo)數(shù)據(jù)進(jìn)行檢索,得到與所述用戶語(yǔ)句對(duì)應(yīng)的目標(biāo)指標(biāo)數(shù)據(jù);
37、所述內(nèi)容生成模塊,用于利用基于思維鏈cot的cot提示詞,通過(guò)大語(yǔ)言模型對(duì)所述目標(biāo)指標(biāo)數(shù)據(jù)進(jìn)行處理,以生成所述用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容。
38、相比于相關(guān)技術(shù),本技術(shù)實(shí)施例提供的一種基于大語(yǔ)言模型的期貨內(nèi)容生成方法和系統(tǒng),其中,該方法通過(guò)獲取期貨內(nèi)容生成的基礎(chǔ)數(shù)據(jù),其中,基礎(chǔ)數(shù)據(jù)包括期貨指標(biāo)數(shù)據(jù)和期貨事件資訊數(shù)據(jù),期貨指標(biāo)數(shù)據(jù)還包括實(shí)時(shí)行情數(shù)據(jù)和宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù);對(duì)實(shí)時(shí)行情數(shù)據(jù)進(jìn)行第一預(yù)處理,對(duì)宏觀產(chǎn)業(yè)鏈供需數(shù)據(jù)進(jìn)行第二預(yù)處理,對(duì)期貨事件資訊數(shù)據(jù)進(jìn)行第三預(yù)處理,進(jìn)而得到用于期貨內(nèi)容生成的基礎(chǔ)指標(biāo)數(shù)據(jù);基于用戶語(yǔ)句,通過(guò)對(duì)基礎(chǔ)指標(biāo)數(shù)據(jù)進(jìn)行檢索,得到與用戶語(yǔ)句對(duì)應(yīng)的目標(biāo)指標(biāo)數(shù)據(jù);利用基于思維鏈cot的cot提示詞,通過(guò)大語(yǔ)言模型對(duì)目標(biāo)指標(biāo)數(shù)據(jù)進(jìn)行處理,以生成用戶語(yǔ)句對(duì)應(yīng)的期貨內(nèi)容,實(shí)現(xiàn)了對(duì)不同的期貨基礎(chǔ)數(shù)據(jù)進(jìn)行分類處理,以提高數(shù)據(jù)質(zhì)量,且在提高數(shù)據(jù)質(zhì)量的基礎(chǔ)上,將大語(yǔ)言模型技術(shù)嵌入到期貨內(nèi)容的生成中,利用思維鏈cot提示詞,指導(dǎo)大語(yǔ)言模型將高質(zhì)量的期貨基礎(chǔ)數(shù)據(jù)轉(zhuǎn)化為滿足用戶語(yǔ)句要求的期貨內(nèi)容,解決了如何提高期貨領(lǐng)域中內(nèi)容生成質(zhì)量的問(wèn)題。