本發(fā)明涉具體涉及一種大數(shù)據(jù)傳輸方法。
背景技術：
對于“大數(shù)據(jù)”研究機構gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)；麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征；大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”；從技術上看，大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術；隨著云時代的來臨，大數(shù)據(jù)也吸引了越來越多的關注。分析師團隊認為，大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結構化數(shù)據(jù)和半結構化數(shù)據(jù)，這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像mapreduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
大數(shù)據(jù)需要特殊的技術，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)；因此目前急需一種大數(shù)據(jù)傳輸方法以適應目前的需求。
技術實現(xiàn)要素：
本發(fā)明的目的在于針對現(xiàn)有技術的不足，提供一種大數(shù)據(jù)傳輸方法，該大數(shù)據(jù)傳輸方法可以很好地解決上述問題。
為達到上述要求，本發(fā)明采取的技術方案是：提供一種大數(shù)據(jù)傳輸方法，該大數(shù)據(jù)傳輸方法包括如下步驟：
s1：接收數(shù)據(jù)傳輸請求指令,并釋放部分業(yè)務帶寬給ipoa通道；
s2：配置數(shù)據(jù)同步到基站生效，并恢復原有業(yè)務帶寬和ipoa通道的帶寬，配置數(shù)據(jù)同步到基站生效；
s3：網(wǎng)元設備對需要上傳的數(shù)據(jù)進行壓縮處理后，傳輸給網(wǎng)管系統(tǒng)的網(wǎng)管服務器，網(wǎng)管服務器對接收到的壓縮數(shù)據(jù)進行解壓縮處理，并將解壓縮后的數(shù)據(jù)發(fā)送給所述網(wǎng)管系統(tǒng)的客戶端；
s4：服務端根據(jù)客戶端請求數(shù)據(jù)傳輸?shù)姆椒ê蛥?shù)將數(shù)據(jù)庫中所需要讀取的數(shù)據(jù)讀取出來，將所述數(shù)據(jù)壓縮成字節(jié)流類型，形成字節(jié)流數(shù)據(jù)m_bytesall；
s5：將該字節(jié)流數(shù)據(jù)按每份blocksize為1024的數(shù)量進行分段，形成總段數(shù)blockcount；
s6：終端設備onu的狀態(tài)或配置信息分類成關鍵數(shù)據(jù)和非關鍵數(shù)據(jù)；以及
s7：當網(wǎng)管需要onu的關鍵數(shù)據(jù)時，olt直接從olt本地數(shù)據(jù)表中獲取關鍵數(shù)據(jù)后上報；當網(wǎng)管需要onu的非關鍵數(shù)據(jù)時，olt獲取onu的非關鍵數(shù)據(jù)后上報。
該大數(shù)據(jù)傳輸方法具有的優(yōu)點如下：
(1)本發(fā)明提供的方法和系統(tǒng)，當網(wǎng)元設備上有大量的數(shù)據(jù)需要上傳給網(wǎng)管系統(tǒng)時，網(wǎng)元設備對這些數(shù)據(jù)進行壓縮處理，壓縮后的數(shù)據(jù)所占空間非常小。
(2)能保證大數(shù)據(jù)在較短的時間內(nèi)到達網(wǎng)管服務器，進而快速到達客戶端，避免讓用戶長時間等待，并有效減少網(wǎng)元設備發(fā)生斷鏈的情況。
附圖說明
此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，在這些附圖中使用相同的參考標號來表示相同或相似的部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：
圖1示意性地示出了根據(jù)本申請一個實施例的大數(shù)據(jù)傳輸方法的流程圖。
具體實施方式
為使本申請的目的、技術方案和優(yōu)點更加清楚，以下結合附圖及具體實施例，對本申請作進一步地詳細說明。
在以下描述中，對“一個實施例”、“實施例”、“一個示例”、“示例”等等的引用表明如此描述的實施例或示例可以包括特定特征、結構、特性、性質、元素或限度，但并非每個實施例或示例都必然包括特定特征、結構、特性、性質、元素或限度。另外，重復使用短語“根據(jù)本申請的一個實施例”雖然有可能是指代相同實施例，但并非必然指代相同的實施例。
為簡單起見，以下描述中省略了本領域技術人員公知的某些技術特征。
根據(jù)本申請的一個實施例，提供一種大數(shù)據(jù)傳輸方法，包括如下步驟：
s1：接收數(shù)據(jù)傳輸請求指令,并釋放部分業(yè)務帶寬給ipoa通道；
s2：配置數(shù)據(jù)同步到基站生效，并恢復原有業(yè)務帶寬和ipoa通道的帶寬，配置數(shù)據(jù)同步到基站生效；
s3：網(wǎng)元設備對需要上傳的數(shù)據(jù)進行壓縮處理后，傳輸給網(wǎng)管系統(tǒng)的網(wǎng)管服務器，網(wǎng)管服務器對接收到的壓縮數(shù)據(jù)進行解壓縮處理，并將解壓縮后的數(shù)據(jù)發(fā)送給所述網(wǎng)管系統(tǒng)的客戶端；
s4：服務端根據(jù)客戶端請求數(shù)據(jù)傳輸?shù)姆椒ê蛥?shù)將數(shù)據(jù)庫中所需要讀取的數(shù)據(jù)讀取出來，將所述數(shù)據(jù)壓縮成字節(jié)流類型，形成字節(jié)流數(shù)據(jù)m_bytesall；
s5：將該字節(jié)流數(shù)據(jù)按每份blocksize為1024的數(shù)量進行分段，形成總段數(shù)blockcount；
s6：終端設備onu的狀態(tài)或配置信息分類成關鍵數(shù)據(jù)和非關鍵數(shù)據(jù)；以及
s7：當網(wǎng)管需要onu的關鍵數(shù)據(jù)時，olt直接從olt本地數(shù)據(jù)表中獲取關鍵數(shù)據(jù)后上報；當網(wǎng)管需要onu的非關鍵數(shù)據(jù)時，olt獲取onu的非關鍵數(shù)據(jù)后上報。
根據(jù)本申請的一個實施例，該大數(shù)據(jù)傳輸方法的對需要上傳的數(shù)據(jù)進行壓縮處理之前，進一步包括：確定需要上傳的數(shù)據(jù)滿足壓縮條件，所述確定需要上傳的數(shù)據(jù)滿足壓縮條件，具體為：確定需要上傳的數(shù)據(jù)的長度值大于或等于長度閾值。
可以將業(yè)務速率調(diào)整集成到版本文件下載流程中自動執(zhí)行，即用程序來控制調(diào)整，開始時按照經(jīng)驗值設置成固定的最低速率；也可由人工調(diào)整，在版本下載之前，降低業(yè)務速率提高ipoa通道帶寬，數(shù)據(jù)修改在前臺生效，完成版本下后，恢復業(yè)務速率配置和ipoa通道帶寬。本方法不僅適合文件批量下載，也適合于單個文件的下載。由于基站設備軟件的版本更換一般都選擇在業(yè)務空閑階段服務端根據(jù)客戶端請求數(shù)據(jù)傳輸?shù)姆椒ê蛥?shù)將數(shù)據(jù)庫中所需要讀取的數(shù)據(jù)讀取出來，將所述數(shù)據(jù)壓縮成字節(jié)流類型，形成字節(jié)流數(shù)據(jù)m_bytesall；將該字節(jié)流數(shù)據(jù)按每份blocksize為1024的數(shù)量進行分段，形成總段數(shù)blockcount；將字節(jié)流數(shù)據(jù)和總段數(shù)保存在服務端的內(nèi)存中，同時將總段數(shù)返回到客戶端，分段讀取字節(jié)流數(shù)據(jù)步驟：根據(jù)總段數(shù)進行分段循環(huán)讀取，將當前所要獲取的段數(shù)intnum傳給服務端，服務端判斷該intnum是不是最后一段，如果不是最后一段，根據(jù)起始位置的字節(jié)為blocksize*(intnum-1)和返回的字節(jié)數(shù)blocksize獲取當前段的數(shù)據(jù)。
以上所述實施例僅表示本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能理解為對本發(fā)明范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明保護范圍。因此本發(fā)明的保護范圍應該以所述權利要求為準。