數(shù)據(jù)并行處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機系統(tǒng)與高性能計算領(lǐng)域，具體涉及一種在眾核處理器架構(gòu)上的大規(guī)模數(shù)據(jù)高性能并行處理方法，它是一種高效能的處理密集型大數(shù)據(jù)并且能夠提供輔助決策的有效方法。
【背景技術(shù)】
[0002]隨著科學研究、電子商務(wù)、社交網(wǎng)絡(luò)、移動通信等各行業(yè)領(lǐng)域無時不刻都會產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)的類型日益復(fù)雜，數(shù)量日趨龐大，處理規(guī)模從TB級別演變到PB級別，直到如今的EB級別，這對大數(shù)據(jù)處理的高效性、實時性提出了嚴峻的挑戰(zhàn)。半導(dǎo)體工藝技術(shù)和體系結(jié)構(gòu)不斷發(fā)展，處理器功能、分布式存儲技術(shù)、GPU高速運算卡、微處理器結(jié)構(gòu)、多核、眾核設(shè)計技術(shù)也在不斷創(chuàng)新。利用這些技術(shù)最大化并行處理能力是應(yīng)對這一挑戰(zhàn)的有效手段之一，也是E級計算重大挑戰(zhàn)之一。
[0003]國內(nèi)外學術(shù)界和工業(yè)界諸多學者和開發(fā)者做了很多卓有成效的工作，給出一系列的面向眾核處理器的高性能大規(guī)模數(shù)據(jù)并行處理技術(shù)原理、框架模型和技術(shù)實現(xiàn)等。比如，Shahram等人在Shahram T,YongshengZ，Tong H，et al.A robust framework for real-time distributed processing of satellite data[J]，ParalIel DistributedComputing,2006,66(3):403-418(面向衛(wèi)星數(shù)據(jù)處理的魯棒性實時分布式框架)中，通過多臺服務(wù)器冗余備份的方式構(gòu)建系統(tǒng)架構(gòu)模型，并實現(xiàn)處理衛(wèi)星數(shù)據(jù)的分布式實時并行計算的框架，保障冗余數(shù)據(jù)庫的可靠性和可操作性。雖然該框架在一定程度上保證了并行框架數(shù)據(jù)處理技術(shù)的穩(wěn)定性，但是和大數(shù)據(jù)量的強重復(fù)性計算一樣，需要不斷讀寫磁盤，沒有充分利用計算機系統(tǒng)的內(nèi)存資源進行快速計算，而且未掛載GPU高速運算卡加速運算，故其計算性能遠遠未能達到最佳D Yi Cao等人在Yi Cao，et al.A parallel computingframework for large-scale air traffic flow optimizat1n,IntelIigentTransportat1n Systems, IEEE Transact1ns on，2012，13(4): 1855-1864(大規(guī)模航空交通流優(yōu)化并行計算框架)中提出并構(gòu)建了一個并行計算框架，該框架分別通過利用TCP和UDP協(xié)議在服務(wù)器端和客戶端之間交互通信命令與數(shù)據(jù)，用來計算解決大規(guī)模的航空交通數(shù)據(jù)流的優(yōu)化問題。但是，該并行計算框架明顯地缺乏有效的容錯保障機制，很難保證運行的可靠性和穩(wěn)定性DYizhuo Wang等人在Yizhuo WjYang Z，et al.An adaptive andhierarchical task scheduling scheme for mult1-core clusters[J],ParallelDistributed Computing,2014,40( 10):611-627(—種面向多核集群的可適用性和層次調(diào)度模式)中，首先對任務(wù)初始化進行劃分，在父子計算機節(jié)點分別設(shè)計全局調(diào)度器和局部調(diào)度器，并通過計算節(jié)點內(nèi)部work-steal ing和計算節(jié)點間work-sharing相結(jié)合的方式，篩選victim節(jié)點動態(tài)調(diào)節(jié)計算節(jié)點間工作負載，以達到負載均衡。RanieriBaraglia等人在RanieriBaraglia，et al.A mult1-criteria job scheduling framework for largecomputing farms,Journal of Computer and System Sciences,2013,79(2):230-244(M向大規(guī)模集群的多標準工作調(diào)度框架)提出了一種多標準的工作調(diào)度框架，用于優(yōu)化大規(guī)模的計算節(jié)點負載均衡，緩解“木桶效應(yīng)”問題。以上學者對已有的并行計算框架做調(diào)度優(yōu)化設(shè)計，但是仍然還缺乏系統(tǒng)化的方法指導(dǎo)和成熟的技術(shù)支持。
[0004]經(jīng)檢索，發(fā)現(xiàn)發(fā)明專利:名稱“一種基于CHJ核管理的分布式并行計算平臺及方法”、專利(ZL)號“ZL21410079473”。該方法提出應(yīng)用于電力系統(tǒng)仿真的分布式并行計算平臺的構(gòu)建策略，但是在該架構(gòu)策略中只運用了多個單一的CHJ核，也沒有利用現(xiàn)今已經(jīng)技術(shù)發(fā)展比較成熟的具有超算能力的GPU高速運算卡來加速計算，同時未構(gòu)建完善良好的容錯機制，一旦發(fā)生錯誤便無法很好地進行快速重配從而恢復(fù)計算能力。
[0005]總地來說，目前面向眾核處理器的高性能大規(guī)模數(shù)據(jù)并行處理方法一方面缺乏對諸如GPU高速運算卡、高性能處理器等硬件強有力軟件支撐;另一方面，還存在迭代計算過程中沒有充分利用高內(nèi)存快速計算的特性，需要不斷讀寫磁盤、節(jié)點作業(yè)調(diào)度策略和數(shù)據(jù)分布不合理、容錯機制差等問題，計算節(jié)點的并行度也有待進一步提升。

【發(fā)明內(nèi)容】

[0006]針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種在保證系統(tǒng)高容錯性前提下，提高節(jié)點內(nèi)部和節(jié)點間的并行度，從而提升了大規(guī)模數(shù)據(jù)的并行處理能力的數(shù)據(jù)并行處理方法及系統(tǒng)。
[0007]為解決上述技術(shù)問題，本發(fā)明提供的一種數(shù)據(jù)并行處理方法，包括如下步驟:
[0008]步驟I，主管理節(jié)點接收數(shù)據(jù)并獲取數(shù)據(jù)的關(guān)聯(lián)關(guān)系；
[0009]步驟2，主管理節(jié)點計算工作計算節(jié)點的可調(diào)配的GPU和GPU工作負載；
[0010]步驟3，主管理節(jié)點劃分數(shù)據(jù)并將已劃分的數(shù)據(jù)分發(fā)到各個工作計算節(jié)點；
[0011]步驟4，工作計算節(jié)點對接收到的數(shù)據(jù)進行并行處理并將處理的結(jié)果傳輸回主管理節(jié)點；
[0012]步驟5，主管理節(jié)點將結(jié)果合并輸出。
[00?3 ]優(yōu)選地，主管理節(jié)點通過j dbcDNA接口接收數(shù)據(jù)。
[0014]優(yōu)選地，步驟I中，主管理節(jié)點對數(shù)據(jù)進行最近鄰關(guān)聯(lián)數(shù)據(jù)集建模，獲取數(shù)據(jù)源之間的關(guān)聯(lián)屬性。
[0015]優(yōu)選地，步驟I中，主管理節(jié)點對數(shù)據(jù)進行最近鄰關(guān)聯(lián)數(shù)據(jù)集建模包括如下步驟:
[0016]步驟1.1，根據(jù)數(shù)據(jù)的分類和特征對數(shù)據(jù)進行維度劃分；
[0017]步驟1.2，對數(shù)據(jù)的每個維度進行方差計算；
[0018]步驟1.3，以計算所得的最大方差值所對應(yīng)的瑋度為依據(jù)劃分數(shù)據(jù)。
[0019]優(yōu)選地，維度包括用戶相似度、數(shù)據(jù)源位置、數(shù)據(jù)訪存時間、數(shù)據(jù)類型、數(shù)據(jù)訪問頻度及內(nèi)存依賴程度。
[0020]優(yōu)選地，步驟2中，主管理節(jié)點通過基于父子節(jié)點雙血緣機制計算工作計算節(jié)點的狀態(tài)。
[0021]優(yōu)選地，步驟2中，主管理節(jié)點通過基于父子節(jié)點雙血緣機制計算工作計算節(jié)點的狀態(tài)信息包括如下步驟:
[0022]步驟2.1，子血緣采集所在的工作計算節(jié)點的狀態(tài)信息并將采集到的狀態(tài)信息傳輸給父血緣；
[0023]步驟2.2，父血緣接收狀態(tài)信息并根據(jù)狀態(tài)信息對子血緣進行調(diào)配。
[0024]優(yōu)選地，父血緣與子血緣之間采用異步更新機制。
[0025]優(yōu)選地，步驟4中，各個工作計算節(jié)點將數(shù)據(jù)轉(zhuǎn)化成的具體作業(yè)并進行分割，然后進行基于節(jié)點粒度的部署，啟動執(zhí)行調(diào)度器將作業(yè)分割為具體的任務(wù)進行并行處理。
[0026]一種數(shù)據(jù)并行處理系統(tǒng)，數(shù)據(jù)并行處理系統(tǒng)采用數(shù)據(jù)并行處理方法。
[0027]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下:
[