技術(shù)編號(hào):12550306
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明涉及MapReduce技術(shù),尤其涉及一種MapReduce的優(yōu)化處理方法。背景技術(shù)MapReduce是一種分布式編程框架,在云計(jì)算和大數(shù)據(jù)處理中應(yīng)用非常廣泛。MapReduce流程如圖1所示,分為Map、Shuffle和Reduce三個(gè)階段,Map和Reduce階段分別執(zhí)行用戶編寫的Map()和Reduce()程序,而Shuffle階段介于Map階段和Reduce階段中間,用于對(duì)Map階段產(chǎn)生的中間結(jié)果進(jìn)行處理,為Reduce階段準(zhǔn)備數(shù)據(jù)。具體而言,Map階段包括如下幾個(gè)步驟:數(shù)據(jù)讀入(R...
注意:該技術(shù)已申請(qǐng)專利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請(qǐng)注意,此類技術(shù)沒(méi)有源代碼,用于學(xué)習(xí)研究技術(shù)思路。