本技術(shù)涉及數(shù)據(jù)處理技術(shù),尤其涉及一種基于大模型的營銷數(shù)據(jù)處理方法及平臺。
背景技術(shù):
1、在當前的數(shù)字化營銷領(lǐng)域,企業(yè)面臨著海量且復(fù)雜的用戶行為數(shù)據(jù)。這些數(shù)據(jù)不僅來源于多樣化的渠道(如社交媒體、電子郵件、網(wǎng)站瀏覽等),而且具有高度的非結(jié)構(gòu)化和半結(jié)構(gòu)化特性。為了有效分析和利用這些數(shù)據(jù),以制定精準的營銷策略,企業(yè)需要依賴先進的數(shù)據(jù)處理和分析技術(shù)。
2、傳統(tǒng)的營銷數(shù)據(jù)處理方法通常直接對原始用戶行為數(shù)據(jù)進行分析,當前的處理方式,計算復(fù)雜度較高,尤其是在處理大規(guī)模數(shù)據(jù)集時,會導(dǎo)致計算效率低下。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供一種基于大模型的營銷數(shù)據(jù)處理方法及平臺,用以減少模型計算復(fù)雜度,提高模型處理效率。
2、第一方面,本技術(shù)提供一種基于大模型的營銷數(shù)據(jù)處理方法,包括:
3、獲取目標用戶的營銷行為數(shù)據(jù),并對所述營銷行為數(shù)據(jù)進行特征提取,以形成第一特征向量集合,其中,所述第一特征向量集合中的標識向量為第一標識向量,所述第一特征向量集合的特征維度為第一維度;
4、若預(yù)設(shè)標識向量映射表中存在與所述第一標識向量之間相似度大于預(yù)設(shè)相似度閾值的預(yù)設(shè)標識向量,則利用預(yù)設(shè)特征向量處理模型對所述第一特征向量集合進行處理,以生成第二特征向量集合,所述第二特征向量集合的特征維度為第二維度,所述第二維度小于所述第一維度;
5、利用用戶行為識別模型,并根據(jù)所述第二特征向量集合確定所述目標用戶所對應(yīng)的用戶特征行為。
6、在上述方案中,通過獲取目標用戶的營銷行為數(shù)據(jù),并對營銷行為數(shù)據(jù)進行特征提取,以形成第一特征向量集合,若預(yù)設(shè)標識向量映射表中存在與第一標識向量之間相似度大于預(yù)設(shè)相似度閾值的預(yù)設(shè)標識向量,則利用預(yù)設(shè)特征向量處理模型對第一特征向量集合進行處理,以生成第二特征向量集合,然后,利用用戶行為識別模型,并根據(jù)第二特征向量集合確定目標用戶所對應(yīng)的用戶特征行為,從而減少了模型計算復(fù)雜度,還通過優(yōu)化特征組合,提高了特征向量的表達能力和識別精度,實現(xiàn)了對用戶行為特征的精準捕捉。
7、可選的,利用預(yù)設(shè)特征向量處理模型對所述第一特征向量集合進行處理,包括:
8、利用預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的關(guān)聯(lián)向量集合,其中,所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表用于建立各個特性向量之間的關(guān)聯(lián)關(guān)系,所述關(guān)聯(lián)關(guān)系包括關(guān)聯(lián)方向以及關(guān)聯(lián)權(quán)重值;
9、根據(jù)所述關(guān)聯(lián)向量集合以及所述第一特征向量集合確定所述第二特征向量集合,其中,所述第二特征向量集合為所述第一特征向量集合與所述關(guān)聯(lián)向量集合的差集。
10、在上述方案中,通過預(yù)設(shè)特性向量關(guān)聯(lián)映射表識別并確定與第一標識向量具有關(guān)聯(lián)關(guān)系的向量集合。這些關(guān)聯(lián)向量代表了與目標用戶行為相關(guān)的其他重復(fù)特征信息,因此,通過計算第一特征向量集合與關(guān)聯(lián)向量集合的差集,可以去除那些在第一特征向量集合中已經(jīng)存在且可能冗余的關(guān)聯(lián)向量,從而減少了數(shù)據(jù)處理的復(fù)雜度和計算量。保留在第一特征向量集合中但不在關(guān)聯(lián)向量集合中的向量,是與目標用戶行為直接相關(guān)且獨特的特征信息。這些特征向量在經(jīng)過降維處理后,能夠更準確地反映目標用戶的特征行為,為后續(xù)的用戶行為識別和營銷策略制定提供了更有價值的信息。
11、可選的,所述利用預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的關(guān)聯(lián)向量集合,包括:
12、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量對應(yīng)的第一候選向量集合,所述第一候選向量集合中的候選向量與所述第一標識向量之間的關(guān)聯(lián)關(guān)系存在第一目標關(guān)聯(lián)方向,所述第一目標關(guān)聯(lián)方向用于表征所述第一候選向量集合中的候選向量直接關(guān)聯(lián)至所述第一標識向量;
13、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表從所述第一候選向量集合中確定直接關(guān)聯(lián)權(quán)重值大于預(yù)設(shè)關(guān)聯(lián)權(quán)重值的候選向量,以添加至第一關(guān)聯(lián)向量集合,所述關(guān)聯(lián)向量集合包括所述第一關(guān)聯(lián)向量集合。
14、在上述方案中,根據(jù)預(yù)設(shè)特性向量關(guān)聯(lián)映射表,能夠確定與第一標識向量直接關(guān)聯(lián)的第一候選向量集合。這些候選向量代表了與目標用戶行為直接相關(guān)的特征信息,通過進一步的篩選,可以確保只保留那些對目標用戶行為識別具有重要影響的向量。通過設(shè)定預(yù)設(shè)關(guān)聯(lián)權(quán)重值,能夠從第一候選向量集合中篩選出直接關(guān)聯(lián)權(quán)重值大于該閾值的候選向量,形成第一關(guān)聯(lián)向量集合。這一步驟避免了處理大量不必要或冗余的數(shù)據(jù),從而提高了數(shù)據(jù)處理的效率。并且,由于第一關(guān)聯(lián)向量集合中的向量都是經(jīng)過篩選的,它們與目標用戶行為之間的關(guān)聯(lián)性更強。這意味著在后續(xù)的用戶行為識別和營銷策略制定過程中,這些特征向量能夠提供更準確的信息。
15、可選的,所述利用預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的關(guān)聯(lián)向量集合,還包括:
16、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的第二候選向量集合,所述第二候選向量集合中的候選向量與所述第一標識向量之間的關(guān)聯(lián)關(guān)系存在第二目標關(guān)聯(lián)方向,所述第二目標關(guān)聯(lián)方向用于表征所述候選向量間接關(guān)聯(lián)至所述第一標識向量;
17、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表從所述第二候選向量集合確定間接關(guān)聯(lián)權(quán)重值大于所述預(yù)設(shè)關(guān)聯(lián)權(quán)重值的候選向量,以添加至第二關(guān)聯(lián)向量集合,所述關(guān)聯(lián)向量集合包括所述第二關(guān)聯(lián)向量集合,所述間接關(guān)聯(lián)權(quán)重值為所述第二候選向量集合中的候選向量關(guān)聯(lián)至所述第一標識向量的關(guān)聯(lián)路徑中各個關(guān)聯(lián)權(quán)重值的乘積。
18、在上述方案中,通過引入間接關(guān)聯(lián)的概念,能夠識別出那些雖然不直接與目標用戶行為相關(guān),但通過其他特征向量與目標用戶行為存在間接關(guān)聯(lián)的候選向量。這些向量可能包含了額外的、有價值的信息,有助于更準確地理解目標用戶的特征行為。在營銷數(shù)據(jù)處理過程中,僅僅考慮直接關(guān)聯(lián)的特征向量可能會遺漏一些重要的信息。通過引入間接關(guān)聯(lián)的概念,能夠補充和完善特征向量集合,提高特征向量的完整性和全面性。雖然第二候選向量集合中的向量是間接關(guān)聯(lián)至第一標識向量的,但通過設(shè)置預(yù)設(shè)關(guān)聯(lián)權(quán)重值,能夠篩選出那些間接關(guān)聯(lián)權(quán)重值大于該閾值的候選向量,形成第二關(guān)聯(lián)向量集合。這些向量與目標用戶行為之間的關(guān)聯(lián)性仍然很強,存在較大的重復(fù)性,因此,通過與第二關(guān)聯(lián)向量集合的差集,可以進一步避免處理大量不必要或冗余的數(shù)據(jù),從而提高了數(shù)據(jù)處理的效率。
19、可選的,在所述利用預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的關(guān)聯(lián)向量集合之后,還包括:
20、確定所述第一標識向量與所述預(yù)設(shè)標識向量映射表中相似度最高的預(yù)設(shè)標識向量所對應(yīng)的最高相似度;
21、根據(jù)所述最高相似度以及預(yù)設(shè)初始關(guān)聯(lián)權(quán)重值確定所述預(yù)設(shè)關(guān)聯(lián)權(quán)重值,其中。
22、在上述方案中,通過引入最高相似度來動態(tài)調(diào)整預(yù)設(shè)關(guān)聯(lián)權(quán)重值,能夠更準確地篩選出與目標用戶行為緊密相關(guān)的特征向量。當?shù)谝粯俗R向量與某個預(yù)設(shè)標識向量的相似度很高時,說明目標用戶的行為與該預(yù)設(shè)標識向量所代表的用戶群體行為非常接近,因此應(yīng)該降低預(yù)設(shè)關(guān)聯(lián)權(quán)重值,以便后續(xù)分析排除更多與目標用戶行為相關(guān)的特征向量。反之,當相似度較低時,則應(yīng)該提高預(yù)設(shè)關(guān)聯(lián)權(quán)重值,以確保后續(xù)識別時納入更多那些與目標用戶行為相關(guān)的特征向量。上述方案能夠根據(jù)不同目標用戶的營銷行為數(shù)據(jù),動態(tài)調(diào)整預(yù)設(shè)關(guān)聯(lián)權(quán)重值,從而提高了方法的適應(yīng)性和靈活性。這有助于在實際應(yīng)用中,根據(jù)不同用戶群體的特點和需求,進行更為精準和個性化的營銷數(shù)據(jù)處理和分析。并且,通過動態(tài)調(diào)整預(yù)設(shè)關(guān)聯(lián)權(quán)重值,能夠在保證數(shù)據(jù)處理精度的同時,優(yōu)化數(shù)據(jù)處理效率。當相似度較高時,通過降低預(yù)設(shè)關(guān)聯(lián)權(quán)重值,可以納入更多特征向量進行后續(xù)分析,從而減少不必要的特征向量分析,從而提高數(shù)據(jù)處理效率。而當相似度較低時,通過提高預(yù)設(shè)關(guān)聯(lián)權(quán)重值,可以納入更多特征向量進行后續(xù)分析,從而增加識別的準確性,有助于更全面地捕捉目標用戶的特征行為。
23、可選的,在所述利用預(yù)設(shè)特征向量處理模型對所述第一特征向量集合進行處理,以生成第二特征向量集合之前,還包括:
24、確定所述第一特征向量集合對應(yīng)的所述第一維度大于預(yù)設(shè)維度閾值。
25、在上述方案中,通過判斷第一特征向量集合的維度是否大于預(yù)設(shè)維度閾值,能夠篩選出那些特征維度較高、包含信息更為豐富的用戶行為數(shù)據(jù)。對于維度較低、信息含量較少的特征向量集合,可以直接進行后續(xù)處理或采取其他處理方式,從而避免了不必要的計算和資源浪費,提高了數(shù)據(jù)處理的針對性和效率。當?shù)谝惶卣飨蛄考系木S度較高時,往往意味著該集合包含了更多的用戶行為特征信息。此時,利用預(yù)設(shè)特征向量處理模型對其進行處理,能夠更有效地提取出與目標用戶行為緊密相關(guān)的特征向量,形成第二特征向量集合,進而有助于優(yōu)化特征向量處理效率??梢?,通過設(shè)置預(yù)設(shè)維度閾值,能夠?qū)斎氲奶卣飨蛄考线M行初步的篩選和過濾,既能避免了因維度過低或信息含量不足而導(dǎo)致的處理效果不佳或錯誤,同時也能在維度過高時,通過降維處理,提高處理速度與效率。
26、可選的,在所述利用預(yù)設(shè)特征向量處理模型對所述第一特征向量集合進行處理,以生成第二特征向量集合之后,還包括:
27、若所述第二維度與所述第一維度的特征差比例大于預(yù)設(shè)特征差比例閾值,則將所述第一特征向量集合以及所述第二特征向量集合添加至識別模型訓(xùn)練數(shù)據(jù)庫,所述識別模型訓(xùn)練數(shù)據(jù)庫用于對所述用戶行為識別模型進行迭代訓(xùn)練。
28、在上述方案中,通過不斷將新的特征向量集合(包括第一特征向量集合和第二特征向量集合)添加至識別模型訓(xùn)練數(shù)據(jù)庫,并用于模型的迭代訓(xùn)練,能夠不斷地豐富和優(yōu)化模型的訓(xùn)練樣本庫。這有助于提升模型對用戶行為的識別精度和泛化能力,使其能夠更好地適應(yīng)不同的應(yīng)用場景和用戶群體。在實際應(yīng)用中,用戶行為數(shù)據(jù)可能會隨著時間和環(huán)境的變化而發(fā)生變化。通過不斷對模型進行迭代訓(xùn)練,能夠使模型不斷適應(yīng)新的數(shù)據(jù)分布和特征模式,從而增強模型的魯棒性和穩(wěn)定性。這有助于確保模型在長期使用過程中始終保持較高的識別性能和穩(wěn)定性。
29、值得說明的,通過設(shè)置第二維度與第一維度的特征差比例大于預(yù)設(shè)特征差比例閾值作為將對應(yīng)數(shù)據(jù)添加至模型訓(xùn)練數(shù)據(jù)庫的條件,能夠篩選出那些在處理過程中特征變化顯著的數(shù)據(jù)集。這些數(shù)據(jù)集往往包含了更為豐富和多樣的用戶行為信息,對于提升模型的識別能力具有重要意義。設(shè)置預(yù)設(shè)特征差比例閾值作為篩選條件,可以確保只有那些特征變化足夠大的數(shù)據(jù)集才會被添加到后續(xù)進行迭代訓(xùn)練的模型訓(xùn)練數(shù)據(jù)庫中,有助于避免引入冗余或低質(zhì)量的數(shù)據(jù),從而優(yōu)化訓(xùn)練樣本的質(zhì)量,進而提高后續(xù)迭代訓(xùn)練的針對性以及效率。此外,由于用戶行為數(shù)據(jù)具有多樣性和復(fù)雜性,傳統(tǒng)的固定模型往往難以適應(yīng)所有情況。而通過不斷引入新的、特征變化顯著的數(shù)據(jù)集進行迭代訓(xùn)練,能夠使模型不斷學(xué)習和適應(yīng)新的數(shù)據(jù)分布和特征模式,從而有助于提升模型在處理復(fù)雜、多變用戶行為數(shù)據(jù)時的適應(yīng)性和魯棒性,使其能夠更好地滿足實際應(yīng)用的需求。并且,通過設(shè)置特征差比例閾值,能夠減少不必要的訓(xùn)練樣本,從而降低模型的訓(xùn)練成本和時間,有助于提升模型的訓(xùn)練效率,使其能夠更快地適應(yīng)新的數(shù)據(jù)和需求。同時,由于篩選出的數(shù)據(jù)集具有較高的質(zhì)量,這也能夠減少模型在訓(xùn)練過程中的過擬合風險,進一步提升模型的泛化能力。
30、值得說明的,還可以上述第一特征向量集合添加至識別模型訓(xùn)練數(shù)據(jù)庫中的驗證集,第二特征向量集合添加至所述識別模型訓(xùn)練數(shù)據(jù)庫中的訓(xùn)練集。通過將處理前后的特征向量集合分別用于訓(xùn)練和驗證,能夠更高效地利用數(shù)據(jù)資源。將第一特征向量集合和第二特征向量集合分別添加到驗證集和訓(xùn)練集中,為模型的迭代優(yōu)化提供了豐富的數(shù)據(jù)支持。通過使用驗證集來評估模型的性能,我們可以及時發(fā)現(xiàn)模型在訓(xùn)練過程中可能出現(xiàn)的不穩(wěn)定情況,如性能波動、過擬合等。同時,將處理后的特征向量集合(第二特征向量集合)添加到訓(xùn)練集中,可以進一步豐富模型的訓(xùn)練樣本,提高模型的穩(wěn)定性和魯棒性。
31、第二方面,本技術(shù)提供一種基于大模型的營銷數(shù)據(jù)處理平臺,包括:
32、獲取模塊,用于獲取目標用戶的營銷行為數(shù)據(jù),并對所述營銷行為數(shù)據(jù)進行特征提取,以形成第一特征向量集合,其中,所述第一特征向量集合中的標識向量為第一標識向量,所述第一特征向量集合的特征維度為第一維度;
33、處理模塊,用于在預(yù)設(shè)標識向量映射表中存在與所述第一標識向量之間相似度大于預(yù)設(shè)相似度閾值的預(yù)設(shè)標識向量時,利用預(yù)設(shè)特征向量處理模型對所述第一特征向量集合進行處理,以生成第二特征向量集合,所述第二特征向量集合的特征維度為第二維度,所述第二維度小于所述第一維度;
34、確定模塊,用于利用用戶行為識別模型,并根據(jù)所述第二特征向量集合確定所述目標用戶所對應(yīng)的用戶特征行為。
35、可選的,所述處理模塊,具體用于:
36、利用預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的關(guān)聯(lián)向量集合,其中,所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表用于建立各個特性向量之間的關(guān)聯(lián)關(guān)系,所述關(guān)聯(lián)關(guān)系包括關(guān)聯(lián)方向以及關(guān)聯(lián)權(quán)重值;
37、根據(jù)所述關(guān)聯(lián)向量集合以及所述第一特征向量集合確定所述第二特征向量集合,其中,所述第二特征向量集合為所述第一特征向量集合與所述關(guān)聯(lián)向量集合的差集。
38、可選的,所述處理模塊,具體用于:
39、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量對應(yīng)的第一候選向量集合,所述第一候選向量集合中的候選向量與所述第一標識向量之間的關(guān)聯(lián)關(guān)系存在第一目標關(guān)聯(lián)方向,所述第一目標關(guān)聯(lián)方向用于表征所述第一候選向量集合中的候選向量直接關(guān)聯(lián)至所述第一標識向量;
40、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表從所述第一候選向量集合中確定直接關(guān)聯(lián)權(quán)重值大于預(yù)設(shè)關(guān)聯(lián)權(quán)重值的候選向量,以添加至第一關(guān)聯(lián)向量集合,所述關(guān)聯(lián)向量集合包括所述第一關(guān)聯(lián)向量集合。
41、可選的,所述處理模塊,具體用于:
42、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表確定所述第一標識向量的第二候選向量集合,所述第二候選向量集合中的候選向量與所述第一標識向量之間的關(guān)聯(lián)關(guān)系存在第二目標關(guān)聯(lián)方向,所述第二目標關(guān)聯(lián)方向用于表征所述候選向量間接關(guān)聯(lián)至所述第一標識向量;
43、根據(jù)所述預(yù)設(shè)特性向量關(guān)聯(lián)映射表從所述第二候選向量集合確定間接關(guān)聯(lián)權(quán)重值大于所述預(yù)設(shè)關(guān)聯(lián)權(quán)重值的候選向量,以添加至第二關(guān)聯(lián)向量集合,所述關(guān)聯(lián)向量集合包括所述第二關(guān)聯(lián)向量集合,所述間接關(guān)聯(lián)權(quán)重值為所述第二候選向量集合中的候選向量關(guān)聯(lián)至所述第一標識向量的關(guān)聯(lián)路徑中各個關(guān)聯(lián)權(quán)重值的乘積。
44、可選的,所述處理模塊,具體用于:
45、確定所述第一標識向量與所述預(yù)設(shè)標識向量映射表中相似度最高的預(yù)設(shè)標識向量所對應(yīng)的最高相似度;
46、根據(jù)所述最高相似度以及預(yù)設(shè)初始關(guān)聯(lián)權(quán)重值確定所述預(yù)設(shè)關(guān)聯(lián)權(quán)重值,其中,所述最高相似度與所述預(yù)設(shè)關(guān)聯(lián)權(quán)重值為負相關(guān)關(guān)系。
47、可選的,所述處理模塊,具體用于:
48、確定所述第一特征向量集合對應(yīng)的所述第一維度大于預(yù)設(shè)維度閾值。
49、可選的,所述處理模塊,具體用于:
50、若所述第二維度與所述第一維度的特征差比例大于預(yù)設(shè)特征差比例閾值,則將所述第一特征向量集合以及所述第二特征向量集合添加至識別模型訓(xùn)練數(shù)據(jù)庫,所述識別模型訓(xùn)練數(shù)據(jù)庫用于對所述用戶行為識別模型進行迭代訓(xùn)練。
51、第三方面,本技術(shù)提供一種電子設(shè)備,包括:
52、處理器;以及,
53、存儲器,用于存儲所述處理器的可執(zhí)行指令;
54、其中,所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行第一方面中所述的任一種可能的方法。
55、第四方面,本技術(shù)提供一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令,所述計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)第一方面中所述的任一種可能的方法。
56、本技術(shù)提供的基于大模型的營銷數(shù)據(jù)處理方法及平臺,通過獲取目標用戶的營銷行為數(shù)據(jù),并對營銷行為數(shù)據(jù)進行特征提取,以形成第一特征向量集合,若預(yù)設(shè)標識向量映射表中存在與第一標識向量之間相似度大于預(yù)設(shè)相似度閾值的預(yù)設(shè)標識向量,則利用預(yù)設(shè)特征向量處理模型對第一特征向量集合進行處理,以生成第二特征向量集合,然后,利用用戶行為識別模型,并根據(jù)第二特征向量集合確定目標用戶所對應(yīng)的用戶特征行為,從而減少了模型計算復(fù)雜度,還通過優(yōu)化特征組合,提高了特征向量的表達能力和識別精度,實現(xiàn)了對用戶行為特征的精準捕捉。