一種大數(shù)據(jù)實時處理與存儲系統(tǒng)及其處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及航天飛行器的測量信號采集與處理技術(shù)領(lǐng)域，特別涉及一種大數(shù)據(jù)實 時處理與存儲系統(tǒng)及其處理方法。
【背景技術(shù)】
[0002] 隨著空間軍事化和商業(yè)化的迅猛發(fā)展，外層空間已成為當今維護國家安全和國家 利益所必須關(guān)注和占據(jù)的戰(zhàn)略制高點，主要表現(xiàn)在以快速軌道部署、為代表的空間防衛(wèi)新 挑戰(zhàn)以及以二代導(dǎo)航二期工程、月球探測工程、國際商業(yè)發(fā)射等為代表的運載火箭任務(wù)適 應(yīng)性、多星發(fā)射新要求。
[0003] 我國新一代空間運載器的成功應(yīng)用需要突破包括遠距離高碼率測量系統(tǒng)技術(shù)在 內(nèi)多項突破空間運輸與空間攻防武器關(guān)鍵技術(shù)。為了突破遠距離高碼率測量系統(tǒng)技術(shù)，型 號要求測量系統(tǒng)能夠?qū)崟r完成對全箭數(shù)據(jù)的實時處理與存儲，以提高數(shù)據(jù)的利用率、提升 型號的測試效率。該需求使得測量系統(tǒng)面臨以下難題：
[0004] 全箭數(shù)據(jù)類型及數(shù)據(jù)量與傳統(tǒng)型號相比有大幅增加，傳統(tǒng)型號只需完成緩變、指 令、計算機字類參數(shù)的處理，對于1553B、CAN、RS485、RS422等數(shù)據(jù)的實時處理尚未涉及。因 此，如何設(shè)計出一個能夠適應(yīng)全箭數(shù)據(jù)實時處理，提高數(shù)據(jù)利用率，滿足型號對數(shù)據(jù)處理結(jié) 果快速提供需求的系統(tǒng)，是測量系統(tǒng)面臨的一大難題。
[0005] 為了滿足型號快速數(shù)據(jù)判讀、比對的需求，提高型號的測試效率，測量系統(tǒng)需將處 理數(shù)據(jù)結(jié)果進行實時存儲，確保型號試驗完成即可進行數(shù)據(jù)判讀。由于計算機硬件的限制 (磁盤讀寫速度、系統(tǒng)I/O開銷、CPU執(zhí)行效率等）使得瞬時大數(shù)據(jù)的實時存儲成為測量系 統(tǒng)面臨的巨大難題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種大數(shù)據(jù)實時處理與存儲系統(tǒng)， 該系統(tǒng)利用中心控制模塊實現(xiàn)數(shù)據(jù)幀在各模塊之間的調(diào)度，按照設(shè)定的流程分別對數(shù)據(jù)幀 正確性、連續(xù)性、幀結(jié)構(gòu)進行判斷，在符合要求的數(shù)據(jù)幀中提取起飛時刻，并發(fā)送到數(shù)據(jù)處 理模塊進行處理，最后將得到的處理結(jié)果保存在數(shù)據(jù)庫中，從而實現(xiàn)了數(shù)據(jù)的實時處理和 事后存儲。
[0007] 本發(fā)明的上述目的是通過如下技術(shù)方案予以實現(xiàn)的：
[0008] 一種大數(shù)據(jù)實時處理與存儲系統(tǒng)，包括數(shù)據(jù)提供模塊、中心控制模塊、遙測幀解析 模塊、變幀判斷模塊、起飛判斷模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)庫，其中：
[0009] 數(shù)據(jù)提供模塊：接收外部網(wǎng)絡(luò)組播的遙測原碼數(shù)據(jù)幀，然后將所述原碼數(shù)據(jù)幀存 入循環(huán)緩存區(qū)內(nèi)，并將所述循環(huán)緩存區(qū)內(nèi)的數(shù)據(jù)幀發(fā)送給中心控制模塊；
[0010] 中心控制模塊：接收數(shù)據(jù)提供模塊發(fā)送的數(shù)據(jù)幀，并將所述數(shù)據(jù)幀發(fā)送給遙測幀 解析模塊；接收遙測幀解析模塊發(fā)送的數(shù)據(jù)幀判斷結(jié)果，如果判斷結(jié)果顯示數(shù)據(jù)幀正確， 則發(fā)送所述數(shù)據(jù)幀到變幀判斷模塊；接收變幀判斷模塊發(fā)送的錯誤提示或幀結(jié)構(gòu)標示，如 果接收到變幀判斷模塊發(fā)送的幀結(jié)構(gòu)標示，則發(fā)送所述數(shù)據(jù)幀和幀結(jié)構(gòu)標示到起飛判斷模 塊；在接收到起飛判斷模塊發(fā)送的起飛時刻值后，發(fā)送所述數(shù)據(jù)幀和起飛時刻值到數(shù)據(jù)處 理模塊；
[0011] 遙測幀解析模塊：接收中心控制模塊發(fā)送的數(shù)據(jù)幀，將所述數(shù)據(jù)幀的大小和幀同 步碼與設(shè)定的幀大小值和設(shè)定的幀同步碼進行比較，即判斷所述數(shù)據(jù)幀的正確性，并通過 所述數(shù)據(jù)幀的計數(shù)值判斷數(shù)據(jù)幀的連續(xù)性，然后發(fā)送判斷結(jié)果到中心控制模塊；如果所述 判斷結(jié)果為數(shù)據(jù)幀不正確或不連續(xù)，則將所述判斷結(jié)果記錄在系統(tǒng)日志文件中；
[0012] 變幀判斷模塊：接收中心控制模塊發(fā)送的數(shù)據(jù)幀，對所述數(shù)據(jù)幀標示進行判斷，如 果所述數(shù)據(jù)幀標示不在設(shè)定的幀標示取值范圍內(nèi)，則發(fā)送錯誤提示到中心控制模塊，并將 所述錯誤記錄在系統(tǒng)日志文件中；如果所述數(shù)據(jù)幀標示正確，則根據(jù)數(shù)據(jù)幀大小和數(shù)據(jù)幀 標示確定對所述數(shù)據(jù)幀進行處理時采用的幀結(jié)構(gòu)，并發(fā)送所述幀結(jié)構(gòu)的標示到中心控制模 塊；
[0013] 起飛判斷模塊：接收中心控制模塊發(fā)送的數(shù)據(jù)幀和幀結(jié)構(gòu)標示，按照所述幀結(jié)構(gòu) 標示對應(yīng)的幀結(jié)構(gòu)對數(shù)據(jù)幀進行解析，然后在解析結(jié)果中查找記錄在數(shù)據(jù)幀中的起飛時刻 值，并將起飛時刻值發(fā)送給中心控制模塊；
[0014] 數(shù)據(jù)處理模塊：接收中心控制模塊發(fā)送的數(shù)據(jù)幀和起飛時刻值，然后按照數(shù)據(jù)幀 的數(shù)據(jù)類型進行處理，提取出所述數(shù)據(jù)幀中的源碼，并將所述源碼與設(shè)定的系統(tǒng)參數(shù)進行 對應(yīng)，采用所述系統(tǒng)參數(shù)對應(yīng)的處理計算公式對源碼進行處理，得到所述系統(tǒng)參數(shù)的物理 量值；將所述系統(tǒng)參數(shù)、處理計算公式和處理結(jié)果發(fā)送到數(shù)據(jù)庫進行保存；
[0015] 數(shù)據(jù)庫：接收數(shù)據(jù)處理模塊發(fā)送的處理結(jié)果并保存。
[0016] 在上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)中，數(shù)據(jù)庫包括實時數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫， 其中，實時數(shù)據(jù)庫實時接收數(shù)據(jù)處理模塊發(fā)送的處理結(jié)果，并將所述處理結(jié)果轉(zhuǎn)發(fā)到關(guān)系 數(shù)據(jù)庫進行保存。
[0017] 在上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)中，數(shù)據(jù)處理模塊在進行數(shù)據(jù)處理和存儲過 程中發(fā)送數(shù)據(jù)處理進度和數(shù)據(jù)存儲進度到中心控制模塊，中心控制模塊接收所述進度并進 行顯示。
[0018] 上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)，還包括數(shù)據(jù)發(fā)布模塊，其中：數(shù)據(jù)處理模塊根 據(jù)設(shè)定的數(shù)據(jù)發(fā)布內(nèi)容，發(fā)送相應(yīng)的數(shù)據(jù)處理結(jié)果到中心控制模塊，中心控制模塊轉(zhuǎn)發(fā)所 述數(shù)據(jù)處理結(jié)果到數(shù)據(jù)發(fā)布模塊，數(shù)據(jù)發(fā)布模塊根據(jù)設(shè)定的通信協(xié)議將所述數(shù)據(jù)處理結(jié)果 進行打包和網(wǎng)絡(luò)發(fā)布。
[0019] 上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)，還包括數(shù)據(jù)中心，其中，在數(shù)據(jù)庫中保存有系 統(tǒng)設(shè)定值，所述系統(tǒng)設(shè)定值包括幀大小值、幀同步碼、幀標示取值范圍、幀結(jié)構(gòu)和系統(tǒng)參數(shù) 的計算公式；數(shù)據(jù)中心從數(shù)據(jù)庫中讀取所述系統(tǒng)設(shè)定值并發(fā)送給中心控制模塊；中心控制 模塊發(fā)送設(shè)定的幀大小值和幀同步碼到遙測幀解析模塊，發(fā)送幀標示取值范圍到變幀判斷 模塊，發(fā)送幀結(jié)構(gòu)到起飛判斷模塊，發(fā)送系統(tǒng)參數(shù)的計算公式到數(shù)據(jù)處理模塊。
[0020] 在上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)中，數(shù)據(jù)處理模塊按照處理數(shù)據(jù)類型劃分為 8個處理單元，包括緩變參數(shù)處理單元、指令參數(shù)處理單元、計算機字參數(shù)處理單元、1553B 總線參數(shù)單元、特征碼復(fù)用參數(shù)處理單元、CAN總線參數(shù)處理單元、二次計算參數(shù)處理單元 和串口參數(shù)處理單元，所述各處理單元接收中心控制模塊發(fā)送的數(shù)據(jù)幀，分別對8種類型 的數(shù)據(jù)進行處理。
[0021] 在上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)中，中心控制模塊對數(shù)據(jù)處理模塊中的8個 處理單元進行線程控制，即為每個處理單元分配設(shè)定數(shù)量的線程，每個單元在所述分配線 程內(nèi)進行數(shù)據(jù)處理。
[0022] 在上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)中，中心控制模塊對系統(tǒng)進程進行控制，即 在系統(tǒng)運行過程中，如果處理出現(xiàn)再次啟動請求，則進行報錯并對所述請求進行禁止。
[0023] 基于上述的大數(shù)據(jù)實時處理與存儲系統(tǒng)實現(xiàn)的數(shù)據(jù)處理方法，包括如下步驟：
[0024] (1)、數(shù)據(jù)提供模塊接收外部網(wǎng)絡(luò)組播的遙測原碼數(shù)據(jù)幀，然后將所述原碼數(shù)據(jù)幀 存入循環(huán)緩存區(qū)內(nèi)，并將所述循環(huán)緩存區(qū)內(nèi)的數(shù)據(jù)幀發(fā)送給中心控制模塊；
[0025] (2)、中心控制模塊將接收到的數(shù)據(jù)幀發(fā)送給遙測幀解析模塊；遙測幀解析模塊將 所述數(shù)據(jù)幀的大小和幀同步碼與設(shè)定的幀大小值和設(shè)定的幀同步碼進行比較，即判斷所述 數(shù)據(jù)幀的正確性，并通過所述數(shù)據(jù)幀的計數(shù)值判斷數(shù)據(jù)幀的連續(xù)性，然后發(fā)送判斷結(jié)果到 中心控制模塊；如果所述判斷結(jié)果為數(shù)據(jù)幀不正確或不連續(xù)，則將所述判斷結(jié)果記錄在系 統(tǒng)日志文件中；
[0026] (3)、中心控制模塊接收遙測幀解析模塊發(fā)送的判斷結(jié)果；如果所述判斷結(jié)果為數(shù) 據(jù)幀不正確或不連續(xù)，則進入步驟（8);如果所述判斷結(jié)果為數(shù)據(jù)幀正確且連續(xù)，則進入步 驟⑷；
[0027] (4)、中心控制模塊發(fā)送數(shù)據(jù)幀到變幀判斷模塊，變幀判斷模塊對所述數(shù)據(jù)幀標示 進行判斷，如果所述數(shù)據(jù)幀標示不在設(shè)定的幀標示取值范圍內(nèi)，則發(fā)送錯誤提示到中心控 制模塊，并將所述錯誤記錄在系統(tǒng)日志文件中；如果所述數(shù)據(jù)幀標示正確，則根據(jù)數(shù)據(jù)幀大 小和數(shù)據(jù)幀標示確定對所述數(shù)據(jù)幀進行處理時采用的幀結(jié)構(gòu)，并發(fā)送所述幀結(jié)構(gòu)的標示到 中心控制模塊；
[0028] (5)、中心控制模塊接收變幀判斷模塊發(fā)送的錯誤提示或幀結(jié)構(gòu)標示；如果接收內(nèi) 容為錯誤提示，則進入步驟（8);如果接收內(nèi)容為幀結(jié)構(gòu)標示，則進入步驟（6);
[0029] (6)、中心控制模塊發(fā)送數(shù)據(jù)幀和幀結(jié)構(gòu)標示到起飛判斷模塊，起飛判斷模塊按照 所述幀結(jié)構(gòu)標示對應(yīng)的幀結(jié)構(gòu)對數(shù)據(jù)幀進行解析，并在解析結(jié)果中查找記錄在數(shù)據(jù)幀中的 起飛時刻值，并將起飛時刻值和數(shù)據(jù)幀發(fā)送給數(shù)據(jù)處理模塊；
[0030] (7)、數(shù)據(jù)處理模塊按照數(shù)據(jù)幀的數(shù)據(jù)類型進行處理，提取出所述數(shù)據(jù)幀中的源 碼，并將所述源碼與設(shè)定的系統(tǒng)參數(shù)進行對應(yīng)，采用所述系統(tǒng)參數(shù)對應(yīng)的處理計算公式對 源碼進行處理，得到所述系統(tǒng)參數(shù)的物理量值；將所述系統(tǒng)參數(shù)、處理計算公式和處理結(jié)果 發(fā)送到數(shù)據(jù)庫進行保