數(shù)據(jù)并行處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)系統(tǒng)與高性能計(jì)算領(lǐng)域，具體涉及一種在眾核處理器架構(gòu)上的大規(guī)模數(shù)據(jù)高性能并行處理方法，它是一種高效能的處理密集型大數(shù)據(jù)并且能夠提供輔助決策的有效方法。
【背景技術(shù)】
[0002]隨著科學(xué)研究、電子商務(wù)、社交網(wǎng)絡(luò)、移動(dòng)通信等各行業(yè)領(lǐng)域無(wú)時(shí)不刻都會(huì)產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)的類型日益復(fù)雜，數(shù)量日趨龐大，處理規(guī)模從TB級(jí)別演變到PB級(jí)別，直到如今的EB級(jí)別，這對(duì)大數(shù)據(jù)處理的高效性、實(shí)時(shí)性提出了嚴(yán)峻的挑戰(zhàn)。半導(dǎo)體工藝技術(shù)和體系結(jié)構(gòu)不斷發(fā)展，處理器功能、分布式存儲(chǔ)技術(shù)、GPU高速運(yùn)算卡、微處理器結(jié)構(gòu)、多核、眾核設(shè)計(jì)技術(shù)也在不斷創(chuàng)新。利用這些技術(shù)最大化并行處理能力是應(yīng)對(duì)這一挑戰(zhàn)的有效手段之一，也是E級(jí)計(jì)算重大挑戰(zhàn)之一。
[0003]國(guó)內(nèi)外學(xué)術(shù)界和工業(yè)界諸多學(xué)者和開發(fā)者做了很多卓有成效的工作，給出一系列的面向眾核處理器的高性能大規(guī)模數(shù)據(jù)并行處理技術(shù)原理、框架模型和技術(shù)實(shí)現(xiàn)等。比如，Shahram等人在Shahram T,YongshengZ，Tong H，et al.A robust framework for real-time distributed processing of satellite data[J]，ParalIel DistributedComputing,2006,66(3):403-418(面向衛(wèi)星數(shù)據(jù)處理的魯棒性實(shí)時(shí)分布式框架)中，通過(guò)多臺(tái)服務(wù)器冗余備份的方式構(gòu)建系統(tǒng)架構(gòu)模型，并實(shí)現(xiàn)處理衛(wèi)星數(shù)據(jù)的分布式實(shí)時(shí)并行計(jì)算的框架，保障冗余數(shù)據(jù)庫(kù)的可靠性和可操作性。雖然該框架在一定程度上保證了并行框架數(shù)據(jù)處理技術(shù)的穩(wěn)定性，但是和大數(shù)據(jù)量的強(qiáng)重復(fù)性計(jì)算一樣，需要不斷讀寫磁盤，沒有充分利用計(jì)算機(jī)系統(tǒng)的內(nèi)存資源進(jìn)行快速計(jì)算，而且未掛載GPU高速運(yùn)算卡加速運(yùn)算，故其計(jì)算性能遠(yuǎn)遠(yuǎn)未能達(dá)到最佳D Yi Cao等人在Yi Cao，et al.A parallel computingframework for large-scale air traffic flow optimizat1n,IntelIigentTransportat1n Systems, IEEE Transact1ns on，2012，13(4): 1855-1864(大規(guī)模航空交通流優(yōu)化并行計(jì)算框架)中提出并構(gòu)建了一個(gè)并行計(jì)算框架，該框架分別通過(guò)利用TCP和UDP協(xié)議在服務(wù)器端和客戶端之間交互通信命令與數(shù)據(jù)，用來(lái)計(jì)算解決大規(guī)模的航空交通數(shù)據(jù)流的優(yōu)化問題。但是，該并行計(jì)算框架明顯地缺乏有效的容錯(cuò)保障機(jī)制，很難保證運(yùn)行的可靠性和穩(wěn)定性DYizhuo Wang等人在Yizhuo WjYang Z，et al.An adaptive andhierarchical task scheduling scheme for mult1-core clusters[J],ParallelDistributed Computing,2014,40( 10):611-627(—種面向多核集群的可適用性和層次調(diào)度模式)中，首先對(duì)任務(wù)初始化進(jìn)行劃分，在父子計(jì)算機(jī)節(jié)點(diǎn)分別設(shè)計(jì)全局調(diào)度器和局部調(diào)度器，并通過(guò)計(jì)算節(jié)點(diǎn)內(nèi)部work-steal ing和計(jì)算節(jié)點(diǎn)間work-sharing相結(jié)合的方式，篩選victim節(jié)點(diǎn)動(dòng)態(tài)調(diào)節(jié)計(jì)算節(jié)點(diǎn)間工作負(fù)載，以達(dá)到負(fù)載均衡。RanieriBaraglia等人在RanieriBaraglia，et al.A mult1-criteria job scheduling framework for largecomputing farms,Journal of Computer and System Sciences,2013,79(2):230-244(M向大規(guī)模集群的多標(biāo)準(zhǔn)工作調(diào)度框架)提出了一種多標(biāo)準(zhǔn)的工作調(diào)度框架，用于優(yōu)化大規(guī)模的計(jì)算節(jié)點(diǎn)負(fù)載均衡，緩解“木桶效應(yīng)”問題。以上學(xué)者對(duì)已有的并行計(jì)算框架做調(diào)度優(yōu)化設(shè)計(jì)，但是仍然還缺乏系統(tǒng)化的方法指導(dǎo)和成熟的技術(shù)支持。
[0004]經(jīng)檢索，發(fā)現(xiàn)發(fā)明專利:名稱“一種基于CHJ核管理的分布式并行計(jì)算平臺(tái)及方法”、專利(ZL)號(hào)“ZL21410079473”。該方法提出應(yīng)用于電力系統(tǒng)仿真的分布式并行計(jì)算平臺(tái)的構(gòu)建策略，但是在該架構(gòu)策略中只運(yùn)用了多個(gè)單一的CHJ核，也沒有利用現(xiàn)今已經(jīng)技術(shù)發(fā)展比較成熟的具有超算能力的GPU高速運(yùn)算卡來(lái)加速計(jì)算，同時(shí)未構(gòu)建完善良好的容錯(cuò)機(jī)制，一旦發(fā)生錯(cuò)誤便無(wú)法很好地進(jìn)行快速重配從而恢復(fù)計(jì)算能力。
[0005]總地來(lái)說(shuō)，目前面向眾核處理器的高性能大規(guī)模數(shù)據(jù)并行處理方法一方面缺乏對(duì)諸如GPU高速運(yùn)算卡、高性能處理器等硬件強(qiáng)有力軟件支撐;另一方面，還存在迭代計(jì)算過(guò)程中沒有充分利用高內(nèi)存快速計(jì)算的特性，需要不斷讀寫磁盤、節(jié)點(diǎn)作業(yè)調(diào)度策略和數(shù)據(jù)分布不合理、容錯(cuò)機(jī)制差等問題，計(jì)算節(jié)點(diǎn)的并行度也有待進(jìn)一步提升。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種在保證系統(tǒng)高容錯(cuò)性前提下，提高節(jié)點(diǎn)內(nèi)部和節(jié)點(diǎn)間的并行度，從而提升了大規(guī)模數(shù)據(jù)的并行處理能力的數(shù)據(jù)并行處理方法及系統(tǒng)。
[0007]為解決上述技術(shù)問題，本發(fā)明提供的一種數(shù)據(jù)并行處理方法，包括如下步驟:
[0008]步驟I，主管理節(jié)點(diǎn)接收數(shù)據(jù)并獲取數(shù)據(jù)的關(guān)聯(lián)關(guān)系；
[0009]步驟2，主管理節(jié)點(diǎn)計(jì)算工作計(jì)算節(jié)點(diǎn)的可調(diào)配的GPU和GPU工作負(fù)載；
[0010]步驟3，主管理節(jié)點(diǎn)劃分?jǐn)?shù)據(jù)并將已劃分的數(shù)據(jù)分發(fā)到各個(gè)工作計(jì)算節(jié)點(diǎn)；
[0011]步驟4，工作計(jì)算節(jié)點(diǎn)對(duì)接收到的數(shù)據(jù)進(jìn)行并行處理并將處理的結(jié)果傳輸回主管理節(jié)點(diǎn)；
[0012]步驟5，主管理節(jié)點(diǎn)將結(jié)果合并輸出。
[00?3 ]優(yōu)選地，主管理節(jié)點(diǎn)通過(guò)j dbcDNA接口接收數(shù)據(jù)。
[0014]優(yōu)選地，步驟I中，主管理節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行最近鄰關(guān)聯(lián)數(shù)據(jù)集建模，獲取數(shù)據(jù)源之間的關(guān)聯(lián)屬性。
[0015]優(yōu)選地，步驟I中，主管理節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行最近鄰關(guān)聯(lián)數(shù)據(jù)集建模包括如下步驟:
[0016]步驟1.1，根據(jù)數(shù)據(jù)的分類和特征對(duì)數(shù)據(jù)進(jìn)行維度劃分；
[0017]步驟1.2，對(duì)數(shù)據(jù)的每個(gè)維度進(jìn)行方差計(jì)算；
[0018]步驟1.3，以計(jì)算所得的最大方差值所對(duì)應(yīng)的瑋度為依據(jù)劃分?jǐn)?shù)據(jù)。
[0019]優(yōu)選地，維度包括用戶相似度、數(shù)據(jù)源位置、數(shù)據(jù)訪存時(shí)間、數(shù)據(jù)類型、數(shù)據(jù)訪問頻度及內(nèi)存依賴程度。
[0020]優(yōu)選地，步驟2中，主管理節(jié)點(diǎn)通過(guò)基于父子節(jié)點(diǎn)雙血緣機(jī)制計(jì)算工作計(jì)算節(jié)點(diǎn)的狀態(tài)。
[0021]優(yōu)選地，步驟2中，主管理節(jié)點(diǎn)通過(guò)基于父子節(jié)點(diǎn)雙血緣機(jī)制計(jì)算工作計(jì)算節(jié)點(diǎn)的狀態(tài)信息包括如下步驟:
[0022]步驟2.1，子血緣采集所在的工作計(jì)算節(jié)點(diǎn)的狀態(tài)信息并將采集到的狀態(tài)信息傳輸給父血緣；
[0023]步驟2.2，父血緣接收狀態(tài)信息并根據(jù)狀態(tài)信息對(duì)子血緣進(jìn)行調(diào)配。
[0024]優(yōu)選地，父血緣與子血緣之間采用異步更新機(jī)制。
[0025]優(yōu)選地，步驟4中，各個(gè)工作計(jì)算節(jié)點(diǎn)將數(shù)據(jù)轉(zhuǎn)化成的具體作業(yè)并進(jìn)行分割，然后進(jìn)行基于節(jié)點(diǎn)粒度的部署，啟動(dòng)執(zhí)行調(diào)度器將作業(yè)分割為具體的任務(wù)進(jìn)行并行處理。
[0026]一種數(shù)據(jù)并行處理系統(tǒng)，數(shù)據(jù)并行處理系統(tǒng)采用數(shù)據(jù)并行處理方法。
[0027]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下:
[