技術(shù)編號：12905967
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細信息。本發(fā)明涉及調(diào)度控制領(lǐng)域，尤其涉及一種數(shù)據(jù)調(diào)度處理方法及裝置。背景技術(shù)ApacheSpark是一個快速高效的集群計算系統(tǒng)，Spark很好地利用了Hadoop和Mesos的基礎(chǔ)設(shè)施，借Hadoop之勢與Hadoop無縫結(jié)合，但是相比于HadoopMapReduce具有更高的計算速度，同時Spark支持內(nèi)存計算、多迭代批量處理、即席查詢、流處理和圖計算等多種范式。對Spark/Hadoop這樣的大數(shù)據(jù)系統(tǒng)來講，數(shù)據(jù)量大并不可怕，可怕的是數(shù)據(jù)傾斜；數(shù)據(jù)傾斜指的是，并行處理的數(shù)據(jù)集中，某一部分的數(shù)據(jù)顯著多...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。