一種大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，特別涉及一種大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法及系統(tǒng)。
【背景技術(shù)】
[0002]網(wǎng)絡(luò)大數(shù)據(jù)的復(fù)雜性、不確定性、涌現(xiàn)性給當前IT系統(tǒng)的架構(gòu)、計算能力帶來了挑戰(zhàn)和機遇，催生了大數(shù)據(jù)處理框架，圍繞著這些計算框架，誕生了各種大數(shù)據(jù)處理系統(tǒng)，例如用于批量大數(shù)據(jù)處理的Google GFS與MapReduce，Norkia的Disco，面向流式處理的Google Dremel、Microsoft 的 Dryad、Twitter 的 Storm、Yahoo 的 S4 等，學(xué)術(shù)界和開源社區(qū)也圍繞著面向批量大數(shù)據(jù)處理的Apache Hadoop、基于Hadoop的更具實時性的Impala、伯克利AMP Lab的基于RDD的，面向工作集疊代應(yīng)用的Spark展開了深入研究，國內(nèi)的互聯(lián)網(wǎng)巨頭百度、阿里、騰訊等也在Hadoop等系統(tǒng)上部署了應(yīng)用。
[0003]各類系統(tǒng)面向不同的應(yīng)用，設(shè)計有針對性的計算模型、調(diào)度算法，數(shù)據(jù)結(jié)構(gòu)，從而不斷演進，如Dremel、Storm等流式處理模型，面向更具實時性的流數(shù)據(jù)，支持創(chuàng)建拓撲結(jié)構(gòu)來轉(zhuǎn)換沒有終點的數(shù)據(jù)流；而Spark則針對MapReduce模型不擅長的迭代處理和交互應(yīng)用，提出了 RDD內(nèi)存數(shù)據(jù)集及相關(guān)迭代模型；Had00p自身的計算框架由原本單一的MapReduce 演化出了基于 DAG (Directed Acyclic Graph)的更為靈活的 Tez ;Hadoop 自身的調(diào)度系統(tǒng)也從單一的全局任務(wù)調(diào)度發(fā)展到了新一代的Yarn，分離了 JobTracker的資源管理與任務(wù)調(diào)度功能。
[0004]然而，由于大數(shù)據(jù)處理系統(tǒng)規(guī)模大，強調(diào)平臺無關(guān)性，避免與具體的操作系統(tǒng)、硬件平臺掛鉤，上述系統(tǒng)的演進都忽視了對底層平臺技術(shù)的利用，Intel中國研究院的NativeTask通過設(shè)計外掛的計算引擎模塊，將部分Hadoop計算引擎內(nèi)部的計算外延到Hotspot虛擬機之外，取得了一定的本地化效果，思想值得借鑒，但還未充分發(fā)揮存儲結(jié)點、計算結(jié)點本地操作系統(tǒng)、硬件平臺的潛力，國內(nèi)的百度公司也提出了 Hadoop的C++擴展，通過使用類似Pipe的協(xié)議將Map和Reduce兩階段的JAVA執(zhí)行邏輯替換為C++編寫并預(yù)編譯好的二進制可執(zhí)行文件，向本地化邁進了一步，但其失去了中間邏輯表示的靈活性，同時本地化僅限于Map和Reduce的用戶邏輯，也沒有深度挖掘代碼的優(yōu)化空間。
[0005]發(fā)明專利“基于S-PLUS的大數(shù)據(jù)平臺的構(gòu)建方法”，該發(fā)明公開一種基于S-PLUS的大數(shù)據(jù)平臺的構(gòu)建方法，發(fā)明體系架構(gòu)自底向上分為四層:物理層、虛擬化層、服務(wù)層和應(yīng)用層。物理層部署了異構(gòu)的硬件資源；在虛擬化層，利用Eucalyptus構(gòu)建虛擬機群，在虛擬機集群上部署了 Hadoop環(huán)境；在服務(wù)層，集成了 S-PLUS語言，實現(xiàn)數(shù)據(jù)挖掘功能并提供服務(wù)。在應(yīng)用層，提供給用戶清晰的操作界面，其功能包括:數(shù)據(jù)存儲和處理系統(tǒng)、數(shù)組運算工具、完整連貫的統(tǒng)計分析工具、優(yōu)秀的統(tǒng)計制圖功能。S-PLUS軟件是一種簡便而強大的編程語言，可操縱數(shù)據(jù)的輸入和輸出，實現(xiàn)分支、循環(huán)，用戶可自定義功能。該發(fā)明能有效處理智慧城市中信息系統(tǒng)服務(wù)、信息監(jiān)管、公共安全等智慧城市系統(tǒng)需關(guān)注的目標，以大數(shù)據(jù)的方式進行展現(xiàn)并分析結(jié)果，處理效率高。但該發(fā)明研究了如何利用大數(shù)據(jù)處理環(huán)境Hadoop，并與虛擬機群Eucalyptus結(jié)合，提供數(shù)據(jù)挖掘服務(wù)，而本發(fā)明深入到大數(shù)據(jù)處理環(huán)境的重構(gòu)方法和優(yōu)化策略的層面，以使大數(shù)據(jù)處理系統(tǒng)能夠充分發(fā)揮物理平臺的潛力。
[0006]發(fā)明專利“云計算中面向節(jié)能的Hadoop分布式文件系統(tǒng)存儲策略”，該發(fā)明公開了一種云計算中面向節(jié)能的Hadoop分布式文件系統(tǒng)存儲策略，包括如下步驟:步驟1，將數(shù)據(jù)節(jié)點進行區(qū)域劃分，對于活躍狀態(tài)的數(shù)據(jù)節(jié)點劃分為熱區(qū)，對于待機狀態(tài)的數(shù)據(jù)節(jié)點劃分為冷區(qū)，將新建的文件存儲于熱區(qū)；步驟2，對于存儲于熱區(qū)的數(shù)據(jù)文件根據(jù)優(yōu)先匹配策略，將該數(shù)據(jù)文件存儲在經(jīng)過優(yōu)先匹配的熱區(qū)最大數(shù)據(jù)節(jié)點；步驟3，判斷該數(shù)據(jù)文件的活躍程度，當活躍程度達到閾值范圍后，將該數(shù)據(jù)文件轉(zhuǎn)存到冷區(qū)；步驟4，對轉(zhuǎn)存在冷區(qū)的該數(shù)據(jù)文件進行活躍程度判斷，如果存儲該數(shù)據(jù)文件的冷區(qū)數(shù)據(jù)節(jié)點最后一次訪問時間與當前時間之差大于節(jié)點待機時間閾值，則將該節(jié)點置為待機狀態(tài)。發(fā)明能有效利用熱節(jié)點和冷節(jié)點較大幅度的降低能耗。該發(fā)明研究的是Hadoop文件系統(tǒng)的面向節(jié)能環(huán)境的改造，重點在于存儲分區(qū)，本發(fā)明站在更高的層面，從正交分解的方法上提出大數(shù)據(jù)處理系統(tǒng)的重構(gòu)，文件系統(tǒng)僅是其中的一個環(huán)節(jié)。

【發(fā)明內(nèi)容】

[0007]針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法及系統(tǒng)。
[0008]本發(fā)明提出一種大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法，包括:
[0009]步驟1，采用超級優(yōu)化的方法，在所述大數(shù)據(jù)處理系統(tǒng)執(zhí)行邏輯的中間表示代碼或二進制硬件指令層面進行離線靜態(tài)分析，提取優(yōu)化指令序列作為優(yōu)化后基本塊；
[0010]步驟2，創(chuàng)建優(yōu)化代碼數(shù)據(jù)庫，計算所述優(yōu)化后基本塊的指紋，將所述指紋與所述優(yōu)化后基本塊分別存入指紋Map與所述優(yōu)化代碼數(shù)據(jù)庫；
[0011 ] 步驟3，采集在線輸入的程序，并提取所述程序的基本塊，計算所述基本塊的指紋，將所述程序的基本塊的所述指紋與所述優(yōu)化代碼數(shù)據(jù)庫中的所述指紋進行對比，若匹配則將所述程序的所述基本塊輸入即時編譯引擎執(zhí)行。
[0012]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法，所述步驟2還包括:結(jié)合部分啟發(fā)式的規(guī)則，從所述優(yōu)化代碼數(shù)據(jù)庫中選取值得進一步優(yōu)化的所述優(yōu)化后基本塊。
[0013]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法，還包括所述大數(shù)據(jù)處理系統(tǒng)只負責最核心的資源與任務(wù)管理，工作于中間層，與平臺、語言無關(guān)。
[0014]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法，所述指紋Map記錄基本塊的哈希值與數(shù)據(jù)塊存放地址間的映射關(guān)系。
[0015]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的方法，所述步驟3包括:對于基本塊為中間表示代碼，則通過即時編譯引擎分析編譯為平臺相關(guān)的二進制指令并交給CPU執(zhí)行；對于機器碼段，則由CPU直接譯碼執(zhí)行。
[0016]本發(fā)明還提出一種大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的系統(tǒng)，包括:
[0017]優(yōu)化基本塊模塊，用于采用超級優(yōu)化的方法，在所述大數(shù)據(jù)處理系統(tǒng)執(zhí)行邏輯的中間表示代碼或二進制硬件指令層面進行離線靜態(tài)分析，提取優(yōu)化指令序列作為優(yōu)化后基本塊；
[0018]創(chuàng)建優(yōu)化代碼數(shù)據(jù)庫模塊，用創(chuàng)建優(yōu)化代碼數(shù)據(jù)庫，計算所述優(yōu)化后基本塊的指紋，將所述指紋與所述優(yōu)化后基本塊分別存入指紋Map與所述優(yōu)化代碼數(shù)據(jù)庫；
[0019]采集與匹配模塊，用于采集在線輸入的程序，并提取所述程序的基本塊，計算所述基本塊的指紋，將所述程序的基本塊的所述指紋與所述優(yōu)化代碼數(shù)據(jù)庫中的所述指紋進行對比，若匹配則將所述程序的所述基本塊輸入即時編譯引擎執(zhí)行。
[0020]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的系統(tǒng)，所述創(chuàng)建優(yōu)化代碼數(shù)據(jù)庫模塊還包括:結(jié)合部分啟發(fā)式的規(guī)則，從所述優(yōu)化代碼數(shù)據(jù)庫中選取值得進一步優(yōu)化的所述優(yōu)化后基本塊。
[0021]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的系統(tǒng)，還包括所述大數(shù)據(jù)處理系統(tǒng)只負責最核心的資源與任務(wù)管理，工作于中間層，與平臺、語言無關(guān)。
[0022]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的系統(tǒng)，所述指紋Map記錄基本塊的哈希值與數(shù)據(jù)塊存放地址間的映射關(guān)系。
[0023]所述的大數(shù)據(jù)處理系統(tǒng)的正交分解構(gòu)造與優(yōu)化的系統(tǒng)，所述采集與匹配模塊包括:對于基本塊為中間表示代碼，則通過即時編譯引擎分析編譯為平臺相關(guān)的二進制指令并交給CPU執(zhí)行；對于機器碼段，則由CPU直接譯碼執(zhí)行。
[0024]由以上發(fā)明可知，本發(fā)明的優(yōu)點在于:
[0025]本發(fā)明實施例首先提出一種松耦合、面向底層平臺，借助執(zhí)行節(jié)點本地操作系統(tǒng)甚至硬件機制的大數(shù)據(jù)處理系統(tǒng)正交分解與優(yōu)化方法，主張大數(shù)據(jù)處理系統(tǒng)應(yīng)是松耦合和的，能明確分解為調(diào)度管理、數(shù)據(jù)存儲、任務(wù)執(zhí)行等功能模塊；與任務(wù)邏輯緊相關(guān)的數(shù)據(jù)存儲與任務(wù)執(zhí)行應(yīng)下沉到具體的硬件平臺去完成，大數(shù)據(jù)系統(tǒng)只負責最核心的資源與任務(wù)調(diào)度。進而，在此方法的指導(dǎo)下，提出了基于二進制指令超級優(yōu)化的執(zhí)行引擎底層優(yōu)化策略，基于大數(shù)據(jù)系統(tǒng)應(yīng)用的特點，采用超級優(yōu)化(SuperOptimizat1n)方法，在執(zhí)行邏輯中間表達或二進制代碼層面作離線靜態(tài)分析，利用編譯技術(shù)來發(fā)揮底層平臺的潛力。最后，以Hadoop作為目標大數(shù)據(jù)處理系統(tǒng)，采用上述方法和策略完成了重構(gòu):采用松耦合的方式，將Hadoop的任務(wù)調(diào)度與存儲、計算引擎拆分開；將數(shù)據(jù)存儲下沉到全C語言實現(xiàn)的第三方文件系統(tǒng)；將任務(wù)執(zhí)行下沉到基于LLVM的本地化執(zhí)行引擎，在代碼中間表