本發(fā)明涉及數(shù)據(jù)處理，特別是指一種海洋環(huán)境多源數(shù)據(jù)融合處理方法及系統(tǒng)。

背景技術(shù)：

1、在海洋環(huán)境監(jiān)測(cè)領(lǐng)域，傳統(tǒng)的數(shù)據(jù)采集方法有的缺乏高效的時(shí)序控制機(jī)制，導(dǎo)致在數(shù)據(jù)采集過(guò)程中可能出現(xiàn)沖突和干擾，降低了數(shù)據(jù)采集的準(zhǔn)確性和效率。

2、這一問(wèn)題使得獲取的數(shù)據(jù)質(zhì)量參差不齊，影響了后續(xù)數(shù)據(jù)分析的可靠性。過(guò)去對(duì)海洋環(huán)境的監(jiān)測(cè)往往依賴(lài)于單一類(lèi)型的傳感器，無(wú)法全面反映海洋環(huán)境的多維特征。這種局限性使得監(jiān)測(cè)結(jié)果片面，難以捕捉到海洋環(huán)境的復(fù)雜變化。

3、另外，當(dāng)監(jiān)測(cè)到數(shù)據(jù)后，對(duì)數(shù)據(jù)處理時(shí)，傳統(tǒng)的數(shù)據(jù)處理方法在面對(duì)大規(guī)模多源數(shù)據(jù)時(shí)，有的存在處理效率低下的問(wèn)題，因此，無(wú)法實(shí)現(xiàn)數(shù)據(jù)的均衡分布和高效利用計(jì)算資源。這導(dǎo)致了數(shù)據(jù)處理能力的瓶頸，無(wú)法滿(mǎn)足日益增長(zhǎng)的數(shù)據(jù)處理需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題是提供一種海洋環(huán)境多源數(shù)據(jù)融合處理方法及系統(tǒng)，通過(guò)數(shù)據(jù)分片與動(dòng)態(tài)分配優(yōu)化數(shù)據(jù)分布，提高處理效率。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

3、第一方面，一種海洋環(huán)境多源數(shù)據(jù)融合處理方法，所述方法包括：

4、步驟11，采用無(wú)線通信協(xié)議連接多種類(lèi)型的傳感器節(jié)點(diǎn)；

5、步驟12，將傳感器在采集過(guò)程中相對(duì)隔離，以獲取海洋環(huán)境數(shù)據(jù)和設(shè)備的邊緣節(jié)點(diǎn)處數(shù)據(jù)；

6、步驟13，將海洋環(huán)境數(shù)據(jù)和邊緣節(jié)點(diǎn)處數(shù)據(jù)進(jìn)行融合，以得到融合的數(shù)據(jù)集；

7、步驟14，將融合的數(shù)據(jù)集分為分片數(shù)據(jù)集，將分片數(shù)據(jù)集初步分配到各個(gè)異構(gòu)節(jié)點(diǎn)上，以得到分配結(jié)果；

8、步驟15，設(shè)定性能評(píng)估指標(biāo)，根據(jù)性能評(píng)估指標(biāo)對(duì)每個(gè)異構(gòu)節(jié)點(diǎn)進(jìn)行性能測(cè)試，記錄各個(gè)節(jié)點(diǎn)在處理不同分片數(shù)據(jù)集時(shí)的性能指標(biāo)，以得到測(cè)試結(jié)果；

9、步驟16，分析測(cè)試結(jié)果，識(shí)別異常節(jié)點(diǎn)和異常的分片數(shù)據(jù)集；

10、步驟17，根據(jù)異常節(jié)點(diǎn)和異常的分片數(shù)據(jù)集，進(jìn)行優(yōu)化，以得到優(yōu)化結(jié)果。

11、進(jìn)一步的，將傳感器在采集過(guò)程中相對(duì)隔離，以獲取海洋環(huán)境數(shù)據(jù)和設(shè)備的邊緣節(jié)點(diǎn)處數(shù)據(jù)，包括：

12、為每個(gè)傳感器設(shè)定一個(gè)對(duì)應(yīng)的采樣周期，計(jì)算所有傳感器采樣周期的最小公倍數(shù)，以找到一個(gè)時(shí)間點(diǎn)，使得在時(shí)間點(diǎn)，所有傳感器完成各自的采樣周期；

13、確定第一個(gè)傳感器的采樣時(shí)間，以作為整個(gè)采集過(guò)程的起始點(diǎn)；

14、根據(jù)所有傳感器采樣周期的最小公倍數(shù)，為余下的傳感器計(jì)算各自的延時(shí)等待時(shí)間，以使每個(gè)傳感器都將在對(duì)應(yīng)的采樣周期內(nèi)，相對(duì)于余下的傳感器進(jìn)行隔離的數(shù)據(jù)采集；

15、在計(jì)算各自的延時(shí)等待時(shí)間后，各個(gè)傳感器開(kāi)始采集海洋環(huán)境數(shù)據(jù)和傳感器邊緣節(jié)點(diǎn)處數(shù)據(jù)；

16、海洋環(huán)境數(shù)據(jù)和傳感器邊緣節(jié)點(diǎn)處數(shù)據(jù)采集完成后，進(jìn)行預(yù)處理，以獲得最終的海洋環(huán)境數(shù)據(jù)和設(shè)備的邊緣節(jié)點(diǎn)處數(shù)據(jù)。

17、進(jìn)一步的，將海洋環(huán)境數(shù)據(jù)和邊緣節(jié)點(diǎn)處數(shù)據(jù)進(jìn)行融合，以得到融合的數(shù)據(jù)集，包括：

18、將最終的海洋環(huán)境數(shù)據(jù)和設(shè)備的邊緣節(jié)點(diǎn)處數(shù)據(jù)映射到相同的時(shí)間網(wǎng)格上，以得到時(shí)間對(duì)齊的數(shù)據(jù)；

19、將時(shí)間對(duì)齊的數(shù)據(jù)通過(guò)

20、進(jìn)行數(shù)據(jù)融合，以得到融合的數(shù)據(jù)集，其中，是融合結(jié)果，和分別是海洋環(huán)境數(shù)據(jù)與邊緣節(jié)點(diǎn)數(shù)據(jù)，是歷史數(shù)據(jù)的權(quán)重，是海洋環(huán)境數(shù)據(jù)的誤差方差，是邊緣節(jié)點(diǎn)數(shù)據(jù)的誤差方差；是平滑因子；是索引，是歷史時(shí)刻的數(shù)量；代表時(shí)間。

21、進(jìn)一步的，將融合的數(shù)據(jù)集分為分片數(shù)據(jù)集，將分片數(shù)據(jù)集初步分配到各個(gè)異構(gòu)節(jié)點(diǎn)上，以得到分配結(jié)果，包括：

22、對(duì)融合后的數(shù)據(jù)集進(jìn)行分析，識(shí)別數(shù)據(jù)列之間的關(guān)鍵特性，關(guān)鍵特性包括關(guān)聯(lián)性、數(shù)據(jù)大小和更新頻率；

23、基于關(guān)鍵特性，采用垂直分片策略，將相關(guān)聯(lián)的數(shù)據(jù)列分配到同一節(jié)點(diǎn)；

24、評(píng)估每個(gè)異構(gòu)節(jié)點(diǎn)的當(dāng)前負(fù)載，并根據(jù)當(dāng)前負(fù)載，通過(guò)

25、計(jì)算每個(gè)節(jié)點(diǎn)的動(dòng)態(tài)總負(fù)載；

26、其中表示節(jié)點(diǎn)的動(dòng)態(tài)總負(fù)載；、和分別是隨時(shí)間變化的權(quán)重系數(shù)；、和分別表示分配給節(jié)點(diǎn)的分片的cpu使用率、存儲(chǔ)容量消耗和傳輸數(shù)據(jù)量；是分配決策變量，如果分片被分配給節(jié)點(diǎn)，則；否則，；、和分別是節(jié)點(diǎn)的實(shí)時(shí)cpu使用率、存儲(chǔ)容量占用率和網(wǎng)絡(luò)帶寬利用率；表示分片的總數(shù)；代表分片的索引；代表節(jié)點(diǎn)的索引；

27、根據(jù)每個(gè)節(jié)點(diǎn)的動(dòng)態(tài)總負(fù)載，采用遺傳算法初步將分片數(shù)據(jù)集分配到各個(gè)異構(gòu)節(jié)點(diǎn)上，以得到分配結(jié)果。

28、進(jìn)一步的，根據(jù)每個(gè)節(jié)點(diǎn)的動(dòng)態(tài)總負(fù)載，采用遺傳算法初步將分片數(shù)據(jù)集分配到各個(gè)異構(gòu)節(jié)點(diǎn)上，以得到分配結(jié)果，包括：

29、隨機(jī)生成一個(gè)初始種群，每個(gè)個(gè)體代表一種分片數(shù)據(jù)集的分配方案，個(gè)體的編碼采用二進(jìn)制；

30、定義適應(yīng)度函數(shù)來(lái)評(píng)估每個(gè)個(gè)體的優(yōu)劣，根據(jù)適應(yīng)度函數(shù)的值，通過(guò)輪盤(pán)賭選擇對(duì)應(yīng)的個(gè)體進(jìn)入下一代；隨機(jī)選擇兩個(gè)個(gè)體通過(guò)單點(diǎn)交叉進(jìn)行交叉操作，以產(chǎn)生新的個(gè)體；

31、對(duì)新產(chǎn)生的個(gè)體進(jìn)行變異操作，重復(fù)選擇、交叉和變異操作，直到達(dá)到預(yù)設(shè)的迭代次數(shù)，迭代結(jié)束后，輸出對(duì)應(yīng)的個(gè)體作為最終解；

32、將最終解解碼為分片數(shù)據(jù)集的分配方案，根據(jù)分配方案分配分片數(shù)據(jù)集，以得到分配結(jié)果。

33、進(jìn)一步的，適應(yīng)度函數(shù)的計(jì)算公式為：

34、；

35、其中，表示個(gè)體的適應(yīng)度值；表示異構(gòu)節(jié)點(diǎn)的總數(shù)，代表參與數(shù)據(jù)分配的不同節(jié)點(diǎn)數(shù)量；表示節(jié)點(diǎn)索引，用于遍歷所有異構(gòu)節(jié)點(diǎn)；表示分配給節(jié)點(diǎn)的分片數(shù)據(jù)集數(shù)量；和表示分片索引；表示分配給第個(gè)節(jié)點(diǎn)的第個(gè)分片數(shù)據(jù)集的負(fù)載；表示權(quán)重系數(shù)；表示待分配的所有分片數(shù)據(jù)集的數(shù)量；和表示分片數(shù)據(jù)集索引，用于遍歷所有分片數(shù)據(jù)集對(duì)；表示第個(gè)分片數(shù)據(jù)集和第個(gè)分片數(shù)據(jù)集之間的數(shù)據(jù)交互頻率；表示權(quán)重系數(shù)；表示關(guān)聯(lián)分片分配指示函數(shù)，如果第個(gè)分片數(shù)據(jù)集和第個(gè)分片數(shù)據(jù)集被分配到不同的節(jié)點(diǎn)上，則1；如果被分配到同一節(jié)點(diǎn)上，則0。

36、進(jìn)一步的，性能評(píng)估指標(biāo)包括數(shù)據(jù)處理速度、cpu使用率、網(wǎng)絡(luò)傳輸延遲和吞吐量。

37、第二方面，一種海洋環(huán)境多源數(shù)據(jù)融合處理系統(tǒng)，包括：

38、獲取模塊，用于采用無(wú)線通信協(xié)議連接多種類(lèi)型的傳感器節(jié)點(diǎn)；

39、融合模塊，用于將傳感器在采集過(guò)程中相對(duì)隔離，以獲取海洋環(huán)境數(shù)據(jù)和設(shè)備的邊緣節(jié)點(diǎn)處數(shù)據(jù)；將海洋環(huán)境數(shù)據(jù)和邊緣節(jié)點(diǎn)處數(shù)據(jù)進(jìn)行融合，以得到融合的數(shù)據(jù)集；

40、處理模塊，用于設(shè)定性能評(píng)估指標(biāo)，根據(jù)性能評(píng)估指標(biāo)對(duì)每個(gè)異構(gòu)節(jié)點(diǎn)進(jìn)行性能測(cè)試，記錄各個(gè)節(jié)點(diǎn)在處理不同分片數(shù)據(jù)集時(shí)的性能指標(biāo)，以得到測(cè)試結(jié)果；分析測(cè)試結(jié)果，識(shí)別異常節(jié)點(diǎn)和異常的分片數(shù)據(jù)集；根據(jù)異常節(jié)點(diǎn)和異常的分片數(shù)據(jù)集，進(jìn)行優(yōu)化，以得到優(yōu)化結(jié)果。

41、第三方面，一種計(jì)算設(shè)備，包括：

42、一個(gè)或多個(gè)處理器；

43、存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)所述的方法。

44、第四方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的方法。

45、本發(fā)明的上述方案至少包括以下有益效果：

46、通過(guò)無(wú)線通信，可以實(shí)時(shí)地獲取各個(gè)傳感器節(jié)點(diǎn)的數(shù)據(jù)，減少了數(shù)據(jù)傳輸?shù)难舆t，結(jié)合軟件延時(shí)等待技術(shù)，可以高效地采集和處理數(shù)據(jù)；融合來(lái)自不同類(lèi)型傳感器（如溫度、鹽度、溶解氧、濁度等）的數(shù)據(jù)，可以形成一個(gè)豐富多樣的數(shù)據(jù)集。將數(shù)據(jù)集分片并初步分配到各個(gè)異構(gòu)節(jié)點(diǎn)上，可以得到分配結(jié)果，進(jìn)一步根據(jù)節(jié)點(diǎn)的資源權(quán)值動(dòng)態(tài)分配分片數(shù)據(jù)集，可以?xún)?yōu)化數(shù)據(jù)的分布，充分利用各個(gè)節(jié)點(diǎn)的計(jì)算能力，提高整體的數(shù)據(jù)處理效率。通過(guò)優(yōu)化數(shù)據(jù)分布，確保相鄰或相關(guān)聯(lián)的數(shù)據(jù)盡量分布在不同節(jié)點(diǎn)上，可以增強(qiáng)數(shù)據(jù)的可靠性和容錯(cuò)性，即使某個(gè)節(jié)點(diǎn)發(fā)生故障，也不會(huì)導(dǎo)致整個(gè)數(shù)據(jù)集的丟失或損壞。根據(jù)優(yōu)化后的數(shù)據(jù)分布分析分片數(shù)據(jù)集的特性，可以幫助研究人員更深入地了解海洋環(huán)境的變化規(guī)律和趨勢(shì)，根據(jù)數(shù)據(jù)的特點(diǎn)進(jìn)行擬合處理，可以得到更精準(zhǔn)的數(shù)據(jù)結(jié)果，能進(jìn)行對(duì)海洋環(huán)境的未來(lái)變化進(jìn)行預(yù)測(cè)和預(yù)警。