本發(fā)明涉及數(shù)據(jù)處理。更具體地，本發(fā)明涉及一種報(bào)關(guān)單數(shù)據(jù)智能分析方法。

背景技術(shù)：

1、在國際貿(mào)易中，歷史報(bào)關(guān)單數(shù)據(jù)作為記錄其進(jìn)出口活動(dòng)詳細(xì)信息的核心資源，對于全面評估客戶業(yè)務(wù)狀況、預(yù)測市場趨勢以及分析潛在風(fēng)險(xiǎn)具有不可替代的價(jià)值。然而，當(dāng)前報(bào)關(guān)單數(shù)據(jù)的錄入流程多依賴于管理人員的手工操作，可能會存在輸入錯(cuò)誤、疏忽或可能的惡意篡改，這些都可能導(dǎo)致報(bào)關(guān)單數(shù)據(jù)中出現(xiàn)異常值，嚴(yán)重?fù)p害了數(shù)據(jù)的準(zhǔn)確性和可信度。為了有效應(yīng)對這一問題，提升報(bào)關(guān)單數(shù)據(jù)的整體質(zhì)量，需要一種報(bào)關(guān)單數(shù)據(jù)智能分析方法，通過對歷史報(bào)關(guān)單數(shù)據(jù)進(jìn)行深度挖掘和細(xì)致分析，能夠自動(dòng)識別異常報(bào)關(guān)單，方便審查部門及時(shí)核查異常報(bào)關(guān)單進(jìn)行核查。

2、公告號為cn116307125b的專利文件公開了一種基于交通數(shù)據(jù)的報(bào)關(guān)單數(shù)季節(jié)變化分析系統(tǒng)，所述系統(tǒng)包括：預(yù)測處理裝置，針對設(shè)定地區(qū)內(nèi)的每一個(gè)裝卸貨物港口建立對應(yīng)的人工智能預(yù)測體，以基于港口歷年交通數(shù)據(jù)、港口運(yùn)營參數(shù)、關(guān)聯(lián)港口上一年交通數(shù)據(jù)預(yù)測港口本年度每月交通數(shù)據(jù)；總量解析裝置，獲取設(shè)定地區(qū)內(nèi)本年度每月各個(gè)裝卸貨物港口的交通數(shù)據(jù)總量；季節(jié)判斷裝置，確定設(shè)定地區(qū)內(nèi)本年度每月各個(gè)裝卸貨物港口的報(bào)關(guān)單數(shù)總量并執(zhí)行季節(jié)變化分析處理。

3、然而，上述專利文件是基于交通數(shù)據(jù)的報(bào)關(guān)單數(shù)季節(jié)變化分析，并不是針對報(bào)關(guān)單本身數(shù)據(jù)的分析，由于報(bào)關(guān)單數(shù)據(jù)的錄入往往是人工操作，因此會存在人為輸入錯(cuò)誤或者被篡改等情況，導(dǎo)致報(bào)關(guān)記錄數(shù)據(jù)存在異常。傳統(tǒng)的局部異常因子（local?outlierfactor，lof）算法在處理多指標(biāo)數(shù)據(jù)時(shí)是利用各指標(biāo)的歐式距離計(jì)算局部密度獲取異常點(diǎn)，而對于某客戶來說某一類物品歷史報(bào)關(guān)單往往存在一定的相似度，無法很好地捕捉歷史報(bào)關(guān)單數(shù)據(jù)各指標(biāo)之間的相互關(guān)系，導(dǎo)致對異常數(shù)據(jù)的誤判或漏判，從而降低風(fēng)險(xiǎn)報(bào)關(guān)單評估的準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)思路

1、為解決由于lof算法處理多指標(biāo)數(shù)據(jù)時(shí)是利用各指標(biāo)的歐式距離計(jì)算局部密度獲取異常得分，而任一客戶的某一類物品歷史報(bào)關(guān)單存在一定的相似度，從而無法很好地捕捉歷史報(bào)關(guān)單各指標(biāo)之間的相互關(guān)系，導(dǎo)致對異常數(shù)據(jù)的誤判或漏判，降低風(fēng)險(xiǎn)報(bào)關(guān)單評估的準(zhǔn)確率的問題，本發(fā)明提出一種報(bào)關(guān)單數(shù)據(jù)智能分析方法，該方法包括以下步驟：

2、獲取所有報(bào)關(guān)單的出口數(shù)量和價(jià)格；計(jì)算每一份報(bào)關(guān)單與其余報(bào)關(guān)單的數(shù)據(jù)相似度；依據(jù)每一份報(bào)關(guān)單的報(bào)關(guān)日期和所述數(shù)據(jù)相似度構(gòu)建第一坐標(biāo)系，得到對應(yīng)報(bào)關(guān)單的相似度點(diǎn)；依據(jù)每一份報(bào)關(guān)單的出口數(shù)量和價(jià)格構(gòu)建第二坐標(biāo)系，得到對應(yīng)報(bào)關(guān)單的特征點(diǎn)；以每一個(gè)相似度點(diǎn)為中心進(jìn)行聚類，得到若干聚類簇，將包含報(bào)關(guān)單數(shù)量最多聚類簇作為代表聚類簇，進(jìn)而得到代表聚類簇的代表數(shù)量和代表價(jià)格；將任意一份報(bào)關(guān)單記為目標(biāo)報(bào)關(guān)單，基于目標(biāo)報(bào)關(guān)單的出口數(shù)量和價(jià)格，分別與所述代表數(shù)量和代表價(jià)格之間的差異，計(jì)算目標(biāo)報(bào)關(guān)單的偏離程度；以目標(biāo)報(bào)關(guān)單與其余報(bào)關(guān)單的特征點(diǎn)的余弦相似度以及所述偏離程度作為權(quán)重，對目標(biāo)報(bào)關(guān)單與其余報(bào)關(guān)單的特征點(diǎn)之間的歐式距離進(jìn)行加權(quán)，得到目標(biāo)報(bào)關(guān)單與其余報(bào)關(guān)單的特征點(diǎn)之間的加權(quán)歐式距離；依據(jù)所述加權(quán)歐式距離，利用lof算法獲取目標(biāo)份報(bào)關(guān)單的異常得分，以實(shí)現(xiàn)目標(biāo)報(bào)關(guān)單數(shù)據(jù)智能分析。

3、有益效果在于：通過綜合考慮報(bào)關(guān)單的出口數(shù)量和價(jià)格以及數(shù)據(jù)之間的相似度和偏離度，能夠更準(zhǔn)確地識別那些在數(shù)量和價(jià)格上明顯偏離常規(guī)的異常報(bào)關(guān)單；通過lof算法結(jié)合加權(quán)歐式距離和聚類分析，能夠有效地從大量報(bào)關(guān)單中篩選出潛在的高風(fēng)險(xiǎn)報(bào)關(guān)單，增強(qiáng)了風(fēng)險(xiǎn)評估的可靠性，在面對復(fù)雜和多維數(shù)據(jù)時(shí)，能夠更全面地反映數(shù)據(jù)之間的內(nèi)在關(guān)系；能夠適應(yīng)報(bào)關(guān)單數(shù)據(jù)中不同類型和多維度的特征，使得在面對多樣化數(shù)據(jù)時(shí)，分析結(jié)果依然穩(wěn)定且準(zhǔn)確，具有較強(qiáng)的魯棒性。

4、進(jìn)一步地，所述所有報(bào)關(guān)單為同一用戶的同一物品的所有報(bào)關(guān)單。

5、進(jìn)一步地，所述數(shù)據(jù)相似度滿足如下關(guān)系式：

6、；式中，為第份報(bào)關(guān)單與其余報(bào)關(guān)單的數(shù)據(jù)相似度，為第份報(bào)關(guān)單的出口數(shù)量，為其余報(bào)關(guān)單中第份報(bào)關(guān)單的出口數(shù)量，為所有報(bào)關(guān)單的出口數(shù)量的標(biāo)準(zhǔn)差，為第份報(bào)關(guān)單的價(jià)格，為其余報(bào)關(guān)單中第份報(bào)關(guān)單的價(jià)格，為所有報(bào)關(guān)單的價(jià)格的標(biāo)準(zhǔn)差，為區(qū)域報(bào)關(guān)單的數(shù)量，為自然指數(shù)函數(shù)。

7、有益效果在于：通過綜合考慮出口數(shù)量和價(jià)格的差異，并對其進(jìn)行標(biāo)準(zhǔn)化處理，使得數(shù)據(jù)間的相似度計(jì)算更為精確。通過使用標(biāo)準(zhǔn)差能夠消除不同數(shù)據(jù)量綱對相似度計(jì)算的影響，使得對各類數(shù)據(jù)（如數(shù)量、價(jià)格）之間的相對關(guān)系和差異有了更公平的度量；通過對出口數(shù)量和價(jià)格進(jìn)行相對差異的量化處理，有效地衡量了單個(gè)報(bào)關(guān)單與其余報(bào)關(guān)單之間的偏離程度，使得在面對數(shù)量或價(jià)格波動(dòng)較大的數(shù)據(jù)時(shí)，能夠更準(zhǔn)確地識別那些偏離常態(tài)的異常報(bào)關(guān)單，而不會受到單一數(shù)據(jù)點(diǎn)的極端值影響。

8、進(jìn)一步地，所述第一坐標(biāo)系的橫坐標(biāo)為報(bào)關(guān)單的報(bào)關(guān)日期，縱坐標(biāo)為所述數(shù)據(jù)相似度；所述第二坐標(biāo)系的橫坐標(biāo)為報(bào)關(guān)單的出口數(shù)量，縱坐標(biāo)為報(bào)關(guān)單的價(jià)格。

9、進(jìn)一步地，所述聚類采用dbscan算法。

10、進(jìn)一步地，所述代表聚類簇的代表數(shù)量和代表價(jià)格分別為代表聚類簇中所有報(bào)關(guān)單的出口數(shù)量的均值和價(jià)格的均值。

11、進(jìn)一步地，所述偏離程度滿足如下關(guān)系式：

12、；式中，為第份報(bào)關(guān)單的偏離程度，為第份報(bào)關(guān)單的出口數(shù)量，為代表數(shù)量，為第份報(bào)關(guān)單的價(jià)格，為代表價(jià)格，為標(biāo)準(zhǔn)歸一化函數(shù)。

13、有益效果在于：偏離程度通過計(jì)算報(bào)關(guān)單的出口數(shù)量和價(jià)格與代表數(shù)量和代表價(jià)格的歐式距離，從而量化了每份報(bào)關(guān)單在數(shù)量和價(jià)格上的偏離程度；通過標(biāo)準(zhǔn)歸一化處理，該偏離度值能夠消除量綱差異和不同數(shù)據(jù)范圍的影響，確保計(jì)算結(jié)果的一致性和公平性，能夠更準(zhǔn)確地評估哪些報(bào)關(guān)單與正常模式有顯著偏差，從而識別潛在的異常和高風(fēng)險(xiǎn)數(shù)據(jù)。

14、進(jìn)一步地，所述加權(quán)歐式距離滿足如下關(guān)系式：

15、；式中，第份報(bào)關(guān)單與其余報(bào)關(guān)單中第份報(bào)關(guān)單的特征數(shù)據(jù)點(diǎn)之間的加權(quán)歐式距離，第份報(bào)關(guān)單的偏離程度，第份報(bào)關(guān)單與其余報(bào)關(guān)單中第份報(bào)關(guān)單的特征數(shù)據(jù)點(diǎn)之間的余弦相似度，第份報(bào)關(guān)單與其余報(bào)關(guān)單中第份報(bào)關(guān)單的特征數(shù)據(jù)點(diǎn)之間的歐式距離，為標(biāo)準(zhǔn)歸一化函數(shù)，為雙曲正切函數(shù)。

16、有益效果在于：綜合考慮不同特征之間的相似度和差異，優(yōu)化報(bào)關(guān)單的距離計(jì)算；通過雙曲正切函數(shù)壓縮極端值，避免其對計(jì)算結(jié)果的過度影響；結(jié)合歐式距離和余弦相似度，更全面地反映數(shù)據(jù)間的相似性和差異性。

17、進(jìn)一步地，所述以實(shí)現(xiàn)目標(biāo)報(bào)關(guān)單數(shù)據(jù)智能分析，包括：響應(yīng)于所述異常得分大于異常閾值，認(rèn)定目標(biāo)報(bào)關(guān)單的數(shù)據(jù)異常，并發(fā)出預(yù)警提示，完成報(bào)關(guān)單數(shù)據(jù)智能分析。

18、有益效果在于：通過異常得分和閾值的設(shè)置，可以實(shí)時(shí)監(jiān)控和檢測報(bào)關(guān)單數(shù)據(jù)的異常情況，確保數(shù)據(jù)的準(zhǔn)確性和可靠性；當(dāng)報(bào)關(guān)單數(shù)據(jù)異常時(shí)，系統(tǒng)能夠自動(dòng)發(fā)出預(yù)警提示，及時(shí)通知相關(guān)人員進(jìn)行干預(yù)或核查，自動(dòng)化處理大大提高了數(shù)據(jù)處理的效率和響應(yīng)速度，減少了人為錯(cuò)誤和漏報(bào)的可能性。

19、本發(fā)明具有以下有益效果：

20、本發(fā)明通過計(jì)算報(bào)關(guān)單與歷史平均水平的相似度，并通過聚類找到最密集的聚類簇，確定正常報(bào)關(guān)單的代表特征，利用每個(gè)報(bào)關(guān)單與代表特征之間的偏離程度結(jié)合特征數(shù)據(jù)點(diǎn)在空間上分布的余弦相似度對lof算法的距離進(jìn)行加權(quán)，從而更準(zhǔn)確地評估每個(gè)報(bào)關(guān)單的異常得分，減少誤判和漏判的可能性，提高風(fēng)險(xiǎn)評估的準(zhǔn)確性和可靠性；本發(fā)明顯著提升了報(bào)關(guān)單異常檢測的準(zhǔn)確性和風(fēng)險(xiǎn)評估的有效性，能夠幫助監(jiān)管機(jī)構(gòu)及時(shí)發(fā)現(xiàn)潛在風(fēng)險(xiǎn)，降低監(jiān)管成本，并提高整體風(fēng)控水平。