本發(fā)明屬于電力系統(tǒng)通信與數(shù)據(jù)采集，更具體地，涉及一種新能源場站跨網(wǎng)閘遠(yuǎn)程數(shù)據(jù)采集方法及系統(tǒng)。

背景技術(shù)：

1、在規(guī)?；?、高質(zhì)量快速發(fā)展目標(biāo)下，集約化、智能化需求迫切。新能源場站一般建立在比較偏僻的區(qū)域，甚至可能是環(huán)境惡劣的山區(qū)、戈壁、沙漠等地方，具有場站分布分散、點多面廣，普遍選址偏僻、交通不便，機(jī)組數(shù)量多、機(jī)型各異等特點。傳統(tǒng)“多人值班、多人值守”的分散式管理模式需要消耗大量人力物力、運營管理難度大，不便于工作人員長期駐守。隨著新能源場站日益增多，生產(chǎn)和運營管理問題日益凸顯，各大新能源企業(yè)都在重點推進(jìn)新能源遠(yuǎn)程集中監(jiān)控系統(tǒng)的建設(shè)，以實現(xiàn)離散場站的集中式運行管理，提高運維人員效率，輔助設(shè)備可靠性管理水平提升，推進(jìn)場站“無人值班、少人值守”管理模式落地，提升生產(chǎn)人效。

2、由于新能源場站選址普遍比較偏遠(yuǎn)，大部分只能通過電信公司的有線/無線專網(wǎng)進(jìn)行數(shù)據(jù)傳輸，網(wǎng)絡(luò)帶寬多為5m、10m等配置，且數(shù)據(jù)傳輸通道常與視頻流傳輸通道共用，這就形成了數(shù)據(jù)傳輸?shù)膸捚款i。如果場站規(guī)模較大、視頻流拉取密集，甚至不能在規(guī)范要求的時間內(nèi)完成全部數(shù)據(jù)的上送，極端情況可能會出現(xiàn)數(shù)據(jù)中斷。

3、考慮到自然環(huán)境和通訊條件的限制，場站建設(shè)時會根據(jù)現(xiàn)場情況，設(shè)置數(shù)據(jù)上送周期或選擇部分?jǐn)?shù)據(jù)上送，以減少對帶寬資源的占用，以免影響重要數(shù)據(jù)的傳輸，該策略一般在場站投運前的調(diào)試過程中確定，在運行時不支持動態(tài)的修改，在運行過程中，場站只能按照既定配置上送數(shù)據(jù)。新能源場站自然條件惡劣、遠(yuǎn)離城區(qū)，如果采用以上策略，將會遺漏某些次重要信息，此類信息如果上送不及時，區(qū)域集控主站值班人員可能不能及時發(fā)現(xiàn)問題，進(jìn)而引發(fā)嚴(yán)重的后果。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種新能源場站跨網(wǎng)閘遠(yuǎn)程數(shù)據(jù)采集方法及系統(tǒng)，特別適用于新能源場站和區(qū)域集控主站間網(wǎng)絡(luò)帶寬有限、場站規(guī)模大采集上送數(shù)據(jù)量大的場景。

2、本發(fā)明提技術(shù)方案如下：

3、本發(fā)明的第一方面提供了一種新能源場站跨網(wǎng)閘遠(yuǎn)程數(shù)據(jù)采集方法，包括以下步驟：

4、場站一區(qū)數(shù)據(jù)采集服務(wù)器從新能源場站設(shè)備中采集數(shù)據(jù)，基于全局唯一標(biāo)識對不同通信規(guī)約的數(shù)據(jù)進(jìn)行標(biāo)識和初步解析，將數(shù)據(jù)分為報文內(nèi)容和報文屬性；

5、根據(jù)解析后的數(shù)據(jù)的全局標(biāo)識和報文屬性，對采集的數(shù)據(jù)設(shè)置優(yōu)先級，并根據(jù)優(yōu)先級調(diào)整數(shù)據(jù)傳輸策略，將數(shù)據(jù)通過隔離裝置單向傳輸至場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器；

6、場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器接收數(shù)據(jù)后，根據(jù)報文屬性對不同協(xié)議的數(shù)據(jù)進(jìn)行深度標(biāo)準(zhǔn)化處理，并根據(jù)數(shù)據(jù)的優(yōu)先級調(diào)整數(shù)據(jù)處理順序，依據(jù)場站規(guī)模和動態(tài)配置要求，調(diào)整數(shù)據(jù)轉(zhuǎn)發(fā)策略以選擇最優(yōu)目標(biāo)節(jié)點進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)；

7、根據(jù)深度標(biāo)準(zhǔn)化處理后的數(shù)據(jù)，利用消息中間件進(jìn)行發(fā)布數(shù)據(jù)，并使用protobuf進(jìn)行序列化壓縮，用于新能源場站跨網(wǎng)閘環(huán)境下數(shù)據(jù)采集與傳輸。

8、優(yōu)選地，場站一區(qū)數(shù)據(jù)采集服務(wù)器從新能源場站設(shè)備中采集數(shù)據(jù)，基于全局唯一標(biāo)識對不同通信規(guī)約的數(shù)據(jù)進(jìn)行標(biāo)識和初步解析，將數(shù)據(jù)分為報文內(nèi)容和報文屬性，具體如下：

9、場站一區(qū)數(shù)據(jù)采集服務(wù)器與場站中的各類新能源設(shè)備相連接，包括風(fēng)力發(fā)電機(jī)、光伏電池板和變電設(shè)備，采集設(shè)備狀態(tài)、測量數(shù)據(jù)和控制指令，兼容包括iec104、opc、modbus和dnp3的通信規(guī)約；

10、服務(wù)器對采集的數(shù)據(jù)根據(jù)所屬通信規(guī)約進(jìn)行初步解析，識別出每個數(shù)據(jù)報文中的具體字段，并按照規(guī)約定義的格式將數(shù)據(jù)進(jìn)行分類；解析過程包括規(guī)約頭部信息的解析和數(shù)據(jù)內(nèi)容的提??；

11、服務(wù)器將初步解析后的數(shù)據(jù)分為報文內(nèi)容和報文屬性兩個部分，報文內(nèi)容包括設(shè)備狀態(tài)、測量數(shù)據(jù)和控制指令；報文屬性包括規(guī)約類型、設(shè)備標(biāo)識、數(shù)據(jù)類型和時間戳信息；

12、服務(wù)器在完成初步解析和報文內(nèi)容、報文屬性的分離后，對解析出的數(shù)據(jù)內(nèi)容按照初步標(biāo)準(zhǔn)化格式進(jìn)行轉(zhuǎn)換，將不同通信規(guī)約的數(shù)據(jù)字段統(tǒng)一到初步標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)中，形成包含內(nèi)容字段和屬性字段的初步標(biāo)準(zhǔn)化數(shù)據(jù)。

13、優(yōu)選地，根據(jù)解析后的數(shù)據(jù)的全局標(biāo)識和報文屬性，對采集的數(shù)據(jù)設(shè)置優(yōu)先級，并根據(jù)優(yōu)先級調(diào)整數(shù)據(jù)傳輸策略，將數(shù)據(jù)通過隔離裝置單向傳輸至場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器，具體如下：

14、根據(jù)解析后的數(shù)據(jù)的全局標(biāo)識和報文屬性對采集的數(shù)據(jù)進(jìn)行優(yōu)先級劃分，為數(shù)據(jù)分配優(yōu)先級標(biāo)簽，附加在數(shù)據(jù)包中，以識別優(yōu)先級，優(yōu)先級的設(shè)定依據(jù)如下：

15、對于數(shù)據(jù)類型，包括實時數(shù)據(jù)、事件數(shù)據(jù)、告警信息和歷史數(shù)據(jù)，其中告警信息和事件數(shù)據(jù)優(yōu)先傳輸處理；

16、對于時間戳信息，依據(jù)數(shù)據(jù)采集時間和處理時間的差異進(jìn)行優(yōu)先傳輸；

17、對于設(shè)備標(biāo)識，包括關(guān)鍵設(shè)備和常規(guī)設(shè)備，其中關(guān)鍵設(shè)備采集的數(shù)據(jù)優(yōu)先傳輸處理；

18、根據(jù)數(shù)據(jù)優(yōu)先級的設(shè)定結(jié)果，動態(tài)調(diào)整數(shù)據(jù)傳輸策略，根據(jù)優(yōu)先級為每個數(shù)據(jù)包分配傳輸路徑和傳輸時間，并調(diào)整數(shù)據(jù)包在傳輸過程中的隊列位置；

19、將優(yōu)先級設(shè)定和傳輸策略調(diào)整后的數(shù)據(jù)，通過隔離裝置進(jìn)行單向傳輸；

20、通過監(jiān)控數(shù)據(jù)流，檢查數(shù)據(jù)包是否有異常，并對傳輸數(shù)據(jù)進(jìn)行加密和完整性驗證，每個數(shù)據(jù)包生成一個獨立的加密哈希值并記錄在區(qū)塊鏈中。

21、數(shù)據(jù)通過隔離裝置傳輸至場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器后，場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器接收并解析傳輸過來的數(shù)據(jù)，根據(jù)數(shù)據(jù)的優(yōu)先級進(jìn)一步調(diào)整數(shù)據(jù)處理順序和轉(zhuǎn)發(fā)策略，使數(shù)據(jù)在場站內(nèi)部以最佳路徑進(jìn)行傳輸。

22、優(yōu)選地，所述隔離裝置根據(jù)數(shù)據(jù)的優(yōu)先級標(biāo)簽，決定不同數(shù)據(jù)的傳輸路徑和加密方式，多層次過濾數(shù)據(jù)和分級傳輸數(shù)據(jù)；

23、通過實時監(jiān)控網(wǎng)絡(luò)帶寬和負(fù)載情況，動態(tài)調(diào)整數(shù)據(jù)傳輸頻率；當(dāng)檢測到網(wǎng)絡(luò)擁塞時，非關(guān)鍵數(shù)據(jù)會自動被緩存在隔離裝置的內(nèi)部存儲中，并等待下一次傳輸機(jī)會。

24、優(yōu)選地，場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器接收數(shù)據(jù)后，根據(jù)報文屬性對不同協(xié)議的數(shù)據(jù)進(jìn)行深度標(biāo)準(zhǔn)化處理，并根據(jù)數(shù)據(jù)的優(yōu)先級調(diào)整數(shù)據(jù)處理順序，依據(jù)場站規(guī)模和動態(tài)配置要求，調(diào)整數(shù)據(jù)轉(zhuǎn)發(fā)策略以選擇最優(yōu)目標(biāo)節(jié)點進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，具體如下：

25、場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器接收從隔離裝置傳輸?shù)臄?shù)據(jù)包，根據(jù)數(shù)據(jù)的規(guī)約類型、數(shù)據(jù)類型和設(shè)備標(biāo)識，對數(shù)據(jù)字段進(jìn)行深度標(biāo)準(zhǔn)化處理；

26、深度標(biāo)準(zhǔn)化處理過程中，通過動態(tài)映射機(jī)制將不同協(xié)議格式的數(shù)據(jù)字段映射到標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)中，統(tǒng)一轉(zhuǎn)換為內(nèi)部標(biāo)準(zhǔn)化結(jié)構(gòu)；

27、根據(jù)場站的動態(tài)配置對數(shù)據(jù)轉(zhuǎn)發(fā)策略進(jìn)行實時調(diào)整；配置參數(shù)包括數(shù)據(jù)的優(yōu)先級、轉(zhuǎn)發(fā)頻率和數(shù)據(jù)接收的負(fù)載情況；根據(jù)配置調(diào)整數(shù)據(jù)的傳輸路徑和優(yōu)先級；

28、根據(jù)場站的實時狀態(tài)和目標(biāo)節(jié)點的接收能力，服務(wù)器動態(tài)優(yōu)化數(shù)據(jù)轉(zhuǎn)發(fā)策略，將數(shù)據(jù)以最優(yōu)路徑傳輸至目標(biāo)節(jié)點；

29、根據(jù)目標(biāo)節(jié)點的實時狀態(tài)，包括當(dāng)前負(fù)載、響應(yīng)速度和接收能力，選擇最優(yōu)節(jié)點進(jìn)行數(shù)據(jù)分發(fā)；對于負(fù)載較低、響應(yīng)速度快的節(jié)點，服務(wù)器按照優(yōu)先級分配數(shù)據(jù)；當(dāng)目標(biāo)節(jié)點出現(xiàn)故障、超時或無法接收數(shù)據(jù)時，服務(wù)器能夠自動將數(shù)據(jù)分發(fā)至其他備用節(jié)點。

30、優(yōu)選地，標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)由以下字段組成：

31、深度標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)包括關(guān)鍵字段、標(biāo)準(zhǔn)化字段和擴(kuò)展字段；

32、關(guān)鍵字段包括設(shè)備id、測點id和數(shù)據(jù)類型，用于標(biāo)識和區(qū)分?jǐn)?shù)據(jù)來源及種類的基本字段；

33、標(biāo)準(zhǔn)化字段用于以統(tǒng)一格式表示所有數(shù)據(jù)內(nèi)容，包括電壓、電流、設(shè)備狀態(tài)、控制命令的標(biāo)準(zhǔn)化信息；

34、擴(kuò)展字段用于針對特定設(shè)備和通信規(guī)約的附加信息，包括告警狀態(tài)、設(shè)備健康狀態(tài)和控制指令，用于補充描述數(shù)據(jù)的特定特性；

35、深度標(biāo)準(zhǔn)化處理過程中，通過動態(tài)映射機(jī)制將不同協(xié)議格式的數(shù)據(jù)字段映射到標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)中，統(tǒng)一轉(zhuǎn)換為內(nèi)部標(biāo)準(zhǔn)化結(jié)構(gòu)，具體如下：

36、服務(wù)器初步分類解析出的數(shù)據(jù)字段，依據(jù)預(yù)定義的標(biāo)準(zhǔn)化規(guī)則，區(qū)分關(guān)鍵字段和非關(guān)鍵字段；所述標(biāo)準(zhǔn)化規(guī)則根據(jù)協(xié)議類型和設(shè)備類型設(shè)定，使不同協(xié)議的字段在統(tǒng)一結(jié)構(gòu)中對應(yīng)定位；

37、服務(wù)器根據(jù)每個場站的需求，選擇性地處理和映射不同數(shù)據(jù)字段，動態(tài)調(diào)整映射規(guī)則，映射規(guī)則調(diào)整包括對數(shù)據(jù)字段的添加、忽略和變更，僅將與場站需求相關(guān)的數(shù)據(jù)字段映射到標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)中；

38、將經(jīng)過深度標(biāo)準(zhǔn)化處理后的數(shù)據(jù)，重新組合報文內(nèi)容和報文屬性，生成完整的標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)，并根據(jù)內(nèi)部標(biāo)準(zhǔn)格式進(jìn)行格式轉(zhuǎn)換，重新組合后的完整標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)攜帶場站的所有設(shè)備數(shù)據(jù)、屬性字段、優(yōu)先級和擴(kuò)展信息，使數(shù)據(jù)在跨網(wǎng)閘傳輸時完整一致。

39、優(yōu)選地，動態(tài)調(diào)整映射規(guī)則還包括：運維人員通過可視化映射配置工具，允許用戶在圖形化界面上定義和調(diào)整數(shù)據(jù)字段的映射規(guī)則，可視化工具展示每個協(xié)議字段與標(biāo)準(zhǔn)化字段的對應(yīng)關(guān)系，用戶通過拖放或點擊的方式調(diào)整映射規(guī)則。

40、優(yōu)選地，根據(jù)統(tǒng)一的內(nèi)部標(biāo)準(zhǔn)化格式的數(shù)據(jù)，利用消息中間件進(jìn)行發(fā)布數(shù)據(jù)，并使用protobuf進(jìn)行序列化壓縮，用于新能源場站跨網(wǎng)閘環(huán)境下數(shù)據(jù)采集與傳輸；具體如下：

41、準(zhǔn)備將完整標(biāo)準(zhǔn)化的數(shù)據(jù)準(zhǔn)備通過rabbitmq消息中間件發(fā)布，服務(wù)器根據(jù)場站的需求，為數(shù)據(jù)發(fā)布的主題進(jìn)行分類和分配，優(yōu)化傳輸路徑；

42、在發(fā)布數(shù)據(jù)之前，將數(shù)據(jù)字段按照protobuf的定義進(jìn)行序列化，將文本和數(shù)值數(shù)據(jù)壓縮為二進(jìn)制格式；

43、經(jīng)過protobuf序列化后的數(shù)據(jù)包被推送到rabbitmq消息中間件中，rabbitmq將根據(jù)預(yù)定義的消息主題對數(shù)據(jù)進(jìn)行發(fā)布。

44、優(yōu)選地，使用protobuf進(jìn)行序列化壓縮，還包括：

45、采用增量數(shù)據(jù)壓縮的方式，protobuf在每次數(shù)據(jù)序列化之前會先比較當(dāng)前數(shù)據(jù)與前一次的數(shù)據(jù)內(nèi)容，僅對變化部分進(jìn)行壓縮和傳輸，未變化的數(shù)據(jù)通過本地緩存處理；

46、針對新能源場站的跨網(wǎng)閘環(huán)境，識別跨網(wǎng)閘環(huán)境中的特定網(wǎng)絡(luò)瓶頸，并根據(jù)網(wǎng)絡(luò)隔離的特點，調(diào)整數(shù)據(jù)包的大小和傳輸間隔，在受限網(wǎng)絡(luò)條件下的優(yōu)化傳輸。

47、本發(fā)明的第二方面提供了一種新能源場站跨網(wǎng)閘遠(yuǎn)程數(shù)據(jù)采集系統(tǒng)，包括：場站數(shù)據(jù)采集模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理與轉(zhuǎn)發(fā)模塊以及數(shù)據(jù)發(fā)布與壓縮模塊；

48、場站數(shù)據(jù)采集模塊用于從新能源場站設(shè)備中采集數(shù)據(jù)，根據(jù)不同的通信規(guī)約對數(shù)據(jù)進(jìn)行初步解析，將數(shù)據(jù)分為報文內(nèi)容和報文屬性；

49、數(shù)據(jù)傳輸模塊用于通過隔離裝置將標(biāo)準(zhǔn)化的場站數(shù)據(jù)結(jié)合設(shè)置的優(yōu)先級標(biāo)簽進(jìn)行單向傳輸，使數(shù)據(jù)從場站內(nèi)部傳輸至外部；

50、數(shù)據(jù)處理與轉(zhuǎn)發(fā)模塊用于接收隔離裝置傳輸?shù)臄?shù)據(jù)，對不同協(xié)議的數(shù)據(jù)進(jìn)行深度標(biāo)準(zhǔn)化處理，并將數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為內(nèi)部格式，依據(jù)動態(tài)配置的要求調(diào)整數(shù)據(jù)轉(zhuǎn)發(fā)策略；

51、數(shù)據(jù)發(fā)布與壓縮模塊用于將統(tǒng)一的內(nèi)部標(biāo)準(zhǔn)化格式數(shù)據(jù)通過消息中間件進(jìn)行發(fā)布，使用protobuf技術(shù)進(jìn)行序列化和壓縮，使數(shù)據(jù)在跨網(wǎng)閘環(huán)境中的傳輸。

52、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果至少包括：

53、(1)通過使用protobuf技術(shù)進(jìn)行序列化壓縮，有效減少了數(shù)據(jù)體積，優(yōu)化了帶寬使用，特別適用于帶寬受限的偏遠(yuǎn)場站環(huán)境；相比傳統(tǒng)的數(shù)據(jù)傳輸方式，本發(fā)明能夠在有限的網(wǎng)絡(luò)資源下更高效地傳輸數(shù)據(jù)，減少傳輸過程中的擁堵和數(shù)據(jù)丟失。

54、(2)本發(fā)明中通過場站三區(qū)數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器根據(jù)場站的實際運行狀態(tài)和動態(tài)配置調(diào)整數(shù)據(jù)的傳輸策略。與現(xiàn)有技術(shù)中固定的數(shù)據(jù)上送周期不同，本發(fā)明實現(xiàn)了靈活的動態(tài)調(diào)整，確保重要數(shù)據(jù)能夠優(yōu)先傳輸，次要數(shù)據(jù)在不影響整體運行的情況下再行傳輸，保證了數(shù)據(jù)傳輸?shù)膶崟r性和靈活性。

55、(3)通過對不同協(xié)議的數(shù)據(jù)進(jìn)行深度標(biāo)準(zhǔn)化處理，統(tǒng)一轉(zhuǎn)換為內(nèi)部格式，本發(fā)明能夠兼容多種數(shù)據(jù)源和通信協(xié)議，適應(yīng)多種新能源場站設(shè)備的需求。相比于現(xiàn)有技術(shù)中可能需要針對不同設(shè)備進(jìn)行手動調(diào)整的方式，本發(fā)明大幅提升了系統(tǒng)的適應(yīng)能力，減少了人為干預(yù)。

56、(4)在數(shù)據(jù)傳輸過程中，本發(fā)明通過隔離裝置實現(xiàn)單向傳輸，結(jié)合protobuf序列化壓縮和消息中間件的使用，確保了數(shù)據(jù)傳輸?shù)陌踩院屯暾浴，F(xiàn)有技術(shù)中，尤其是在跨網(wǎng)閘環(huán)境下，數(shù)據(jù)傳輸容易受到外部攻擊或數(shù)據(jù)丟失的風(fēng)險，而本發(fā)明通過多層加密和傳輸校驗機(jī)制大幅減少了這些風(fēng)險。

57、(5)本發(fā)明專為新能源場站的偏遠(yuǎn)、分散和惡劣環(huán)境設(shè)計，通過智能化、集約化的遠(yuǎn)程數(shù)據(jù)采集和傳輸系統(tǒng)，實現(xiàn)了“無人值班、少人值守”的高效管理模式，提升了生產(chǎn)運營效率。與傳統(tǒng)的分散式管理模式相比，本發(fā)明減少了對人力的依賴，降低了運營成本。

58、(6)本發(fā)明通過壓縮與優(yōu)化數(shù)據(jù)傳輸路徑，特別在與視頻流共用網(wǎng)絡(luò)的情況下，能夠有效利用有限帶寬，避免了現(xiàn)有技術(shù)中由于帶寬不足導(dǎo)致的數(shù)據(jù)中斷問題。