欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

基于P2P構(gòu)架的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度系統(tǒng)及方法

文檔序號(hào):6620649閱讀:318來(lái)源:國(guó)知局
基于P2P構(gòu)架的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度系統(tǒng)及方法
【專利摘要】本發(fā)明公開(kāi)了一種基于P2P架構(gòu)MapReduce任務(wù)跨數(shù)據(jù)中心的調(diào)度系統(tǒng),其特征在于,各數(shù)據(jù)中心的資源管理器均包含一個(gè)P2P代理模塊Proxyer,用于各數(shù)據(jù)中心之間建立P2P對(duì)等架構(gòu)的聯(lián)邦式任務(wù)調(diào)度機(jī)制;客戶端通過(guò)Submitter提交MapReduce任務(wù)請(qǐng)求,并選擇確定本次任務(wù)的主數(shù)據(jù)中心資源管理器,主資源管理器根據(jù)任務(wù)請(qǐng)求和各數(shù)據(jù)中心忙閑狀態(tài)向其它數(shù)據(jù)中心的資源管理器進(jìn)行任務(wù)分派。本發(fā)明所述系統(tǒng)及方法實(shí)現(xiàn)了MapReduce任務(wù)的跨數(shù)據(jù)中心調(diào)度,為跨數(shù)據(jù)中心的MapReduce任務(wù)提供統(tǒng)一入口,有效實(shí)現(xiàn)了各數(shù)據(jù)中心的數(shù)據(jù)和計(jì)算資源共享。
【專利說(shuō)明】基于P2P構(gòu)架的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度系統(tǒng)及方 法

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及云計(jì)算技術(shù),特別涉及一種MapReduce (用于大規(guī)模數(shù)據(jù)集并行運(yùn)算 的編程模型)任務(wù)調(diào)度系統(tǒng)及方法。

【背景技術(shù)】
[0002] 云計(jì)算(Cloud Computing)是隨著處理器技術(shù)、虛擬化技術(shù)、分布式存儲(chǔ)技術(shù)、互 聯(lián)網(wǎng)技術(shù)和自動(dòng)化管理技術(shù)的發(fā)展而產(chǎn)生的,由分布式的大規(guī)模集群和服務(wù)器虛擬化軟件 搭建。目前以開(kāi)源社區(qū)Apache的Hadoop項(xiàng)目分布式文件系統(tǒng)(Hadoop Distributed File System,簡(jiǎn)稱HDFS)和并行編程框架Hadoop MapReduce為代表的技術(shù)逐漸成為海量數(shù)據(jù)存 儲(chǔ)與分析處理的主流技術(shù)。其中,Hadoop MapReduce是當(dāng)前使用最廣泛的海量數(shù)據(jù)分析技 術(shù)。
[0003] 基于Hadoop YARN平臺(tái)的MapReduce系統(tǒng)如圖1所示,主要由 ResourceManager (資源管理器)、NodeManager (節(jié)點(diǎn)管理器)、AppMaster (應(yīng)用程序管理 器)、Container (執(zhí)行數(shù)據(jù)任務(wù)的容器)和Client (客戶端)組成。資源管理器管理集群 內(nèi)所有應(yīng)用程序的計(jì)算資源的分配。節(jié)點(diǎn)管理器是每一臺(tái)機(jī)器框架的代理,是執(zhí)行應(yīng)用程 序的容器,并監(jiān)控應(yīng)用程序的資源使用情況(CPU、內(nèi)存、硬盤(pán)、網(wǎng)絡(luò))同時(shí)向節(jié)點(diǎn)管理器匯 報(bào)。應(yīng)用程序管理器負(fù)責(zé)本應(yīng)用內(nèi)的調(diào)度和協(xié)調(diào),是MapReduce作業(yè)的Master,它結(jié)合從資 源管理器獲得的資源和節(jié)點(diǎn)管理器協(xié)同工作來(lái)運(yùn)行和監(jiān)控任務(wù)。資源管理器和節(jié)點(diǎn)管理器 可以管理用戶在該臺(tái)機(jī)器上的進(jìn)程并能對(duì)計(jì)算進(jìn)行組織。Container管理著一個(gè)JVM (Java 虛擬機(jī))進(jìn)程,是執(zhí)行應(yīng)用程序的容器,負(fù)責(zé)執(zhí)行Map (映射)或者Reduc (歸約)任務(wù)。
[0004] 目前,Hadoop MapReduce被眾多企業(yè)、高校、科研院所等廣泛應(yīng)用于數(shù)據(jù)中心的數(shù) 據(jù)分析中,但這些分析任務(wù)主要在單個(gè)數(shù)據(jù)中心中進(jìn)行,數(shù)據(jù)中心之間的處理任務(wù)很難開(kāi) 展。隨著越來(lái)越多分散在各處的獨(dú)立中小型數(shù)據(jù)中心的建立,如何實(shí)現(xiàn)各數(shù)據(jù)中心的數(shù)據(jù) 資源和計(jì)算資源有效共享,為數(shù)據(jù)分析應(yīng)用提供統(tǒng)一的任務(wù)提交入口,提高數(shù)據(jù)分析效率, 越來(lái)越成為大家關(guān)注的問(wèn)題。目前關(guān)于MapReduce任務(wù)跨數(shù)據(jù)中心的調(diào)度技術(shù)未見(jiàn)有具體 的公開(kāi)報(bào)道,是當(dāng)前亟待解決的問(wèn)題。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種能實(shí)現(xiàn)各數(shù)據(jù)中心的數(shù)據(jù)及計(jì)算資源共享,為數(shù)據(jù)分析 應(yīng)用提供統(tǒng)一任務(wù)提交入口,提高數(shù)據(jù)分析效率的跨數(shù)據(jù)中心MapReduce任務(wù)調(diào)度的系統(tǒng) 及方法。
[0006] 為達(dá)到以上目的,本發(fā)明是采取如下技術(shù)方案予以實(shí)現(xiàn)的:
[0007] -種基于P2P架構(gòu)MapReduce任務(wù)跨數(shù)據(jù)中心的調(diào)度系統(tǒng),其特征在于,
[0008] 包括一個(gè)客戶端、η個(gè)數(shù)據(jù)中心,各數(shù)據(jù)中心均有一個(gè)資源管理器和多個(gè)節(jié)點(diǎn)管 理器,其中各數(shù)據(jù)中心的資源管理器與客戶端之間采用廣域網(wǎng)鏈接,各數(shù)據(jù)中心的資源管 理器之間采用廣域網(wǎng)鏈接,各數(shù)據(jù)中心的資源管理器與節(jié)點(diǎn)管理器之間由局域網(wǎng)鏈接;各 數(shù)據(jù)中心的資源管理器均包含一個(gè)P2P代理模塊Proxyer,通過(guò)該P(yáng)roxyer,使各數(shù)據(jù)中心 的資源管理器組成一個(gè)P2P對(duì)等架構(gòu);各數(shù)據(jù)中心的資源管理器都能接收來(lái)自客戶端的 MapReduce任務(wù)請(qǐng)求,成為主資源管理器,并根據(jù)任務(wù)請(qǐng)求和各數(shù)據(jù)中心忙閑狀態(tài)向其它數(shù) 據(jù)中心的資源管理器進(jìn)行任務(wù)分派;被分派任務(wù)的資源管理器就成為本次MapReduce任務(wù) 的執(zhí)行資源管理器;各數(shù)據(jù)中心的資源管理器將本中心的MapReduce任務(wù)和資源信息同步 至其他數(shù)據(jù)中心的資源管理器中;所述客戶端包含有一個(gè)MapReduce任務(wù)多途徑提交模塊 Submitter :用于與各數(shù)據(jù)中心的資源管理器交互,客戶端通過(guò)該Submitter的選擇確定本 次任務(wù)的數(shù)據(jù)中心主資源管理器,并提交MapReduce任務(wù)請(qǐng)求,同時(shí)實(shí)時(shí)從主資源管理器 獲取任務(wù)執(zhí)行狀態(tài)。
[0009] 一種基于P2P架構(gòu)MapReduce任務(wù)跨數(shù)據(jù)中心的調(diào)度方法,其特征在于,包括下述 步驟:
[0010] (1)通過(guò)各個(gè)數(shù)據(jù)中心資源管理器中的Proxyer建立基于P2P架構(gòu)對(duì)等互聯(lián),使各 個(gè)數(shù)據(jù)中心資源管理器之間實(shí)時(shí)同步各數(shù)據(jù)中心狀態(tài)信息,各數(shù)據(jù)中心中的節(jié)點(diǎn)管理器資 源被所有數(shù)據(jù)中心共享;
[0011] (2)客戶端通過(guò)Submitter發(fā)起MapReduce任務(wù)請(qǐng)求,根據(jù)Submitter預(yù)置策略 將MapReduce任務(wù)發(fā)送至某一數(shù)據(jù)中心的資源管理器,由該主資源管理器按預(yù)置的調(diào)度策 略進(jìn)行MapReduce任務(wù)調(diào)度;
[0012] (3)主資源管理器按預(yù)設(shè)調(diào)度算法進(jìn)行任務(wù)分析拆解,并分派至其它各數(shù)據(jù)中心 的資源管理器,啟動(dòng)MapReduce任務(wù)執(zhí)行;
[0013] (4)各數(shù)據(jù)中心執(zhí)行資源管理器實(shí)時(shí)將任務(wù)執(zhí)行信息同步至主資源管理器,主資 源管理器通過(guò)Proxyer在各數(shù)據(jù)中心間同步狀態(tài)信息,并調(diào)度和監(jiān)控MapReduce任務(wù)的執(zhí) 行;
[0014] (5)客戶端實(shí)時(shí)從主資源管理器獲取任務(wù)執(zhí)行狀態(tài)信息,直至任務(wù)結(jié)束。
[0015] 上述方法中,所述MapReduce任務(wù)請(qǐng)求包括Map和Reduce的輸入數(shù)據(jù)路徑、輸出 數(shù)據(jù)路徑、Map和Reduce任務(wù)個(gè)數(shù)、任務(wù)優(yōu)先級(jí)、資源權(quán)限任何一特征。
[0016] 所述客戶端Submitter預(yù)置策略為隨機(jī)映射選擇法和預(yù)設(shè)映射表法。
[0017] 本發(fā)明通過(guò)對(duì)Hadoop YARN的ResourceManager進(jìn)行擴(kuò)展開(kāi)發(fā),增加 Proxyer模 塊,形成具有數(shù)據(jù)中心ResourceManager的P2P對(duì)等互聯(lián)架構(gòu),在P2P架構(gòu)上建立一個(gè)聯(lián)邦 式的ResourceManager任務(wù)調(diào)度機(jī)制,各ResourceManager間實(shí)時(shí)同步集群狀態(tài)信息,各數(shù) 據(jù)中心中的NodeManager資源被所有數(shù)據(jù)中心共享。同時(shí)在任務(wù)提交客戶端Client上,擴(kuò) 展開(kāi)發(fā)Submitter模塊,其可按照預(yù)設(shè)算法選擇任務(wù)提交的數(shù)據(jù)中心,通過(guò)任務(wù)提交這一 層映射關(guān)系,達(dá)到均衡負(fù)載、提高效率的目的,最終實(shí)現(xiàn)各數(shù)據(jù)中心的MapReduce任務(wù)的數(shù) 據(jù)和計(jì)算資源共享。本發(fā)明在保持原系統(tǒng)高效穩(wěn)定的同時(shí)降低系統(tǒng)復(fù)雜度,防止單點(diǎn)故障 造成任務(wù)不可執(zhí)行,為跨數(shù)據(jù)中心的MapReduce任務(wù)提供了保證。此外,系統(tǒng)實(shí)施方便、對(duì) 原系統(tǒng)修改小、向前兼容,可有效實(shí)現(xiàn)跨數(shù)據(jù)中心的MapReduce任務(wù)調(diào)度。

【專利附圖】

【附圖說(shuō)明】
[0018] 圖1為基于Hadoop YARN平臺(tái)的MapReduce系統(tǒng)框架圖。
[0019] 圖2為本發(fā)明MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度系統(tǒng)組成圖。
[0020] 圖3為本發(fā)明MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度流程圖。

【具體實(shí)施方式】
[0021] 為了更清楚地說(shuō)明本發(fā)明的技術(shù)方案,下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行 詳細(xì)描述。
[0022] 如圖2所示,一種基于P2P架構(gòu)(Peer-to-Peer,簡(jiǎn)稱P2P,又稱點(diǎn)對(duì)點(diǎn)技術(shù),是無(wú) 中心服務(wù)器、依靠用戶群自身交換信息的互聯(lián)網(wǎng)體系)MapRed UCe任務(wù)跨數(shù)據(jù)中心的調(diào)度 系統(tǒng),包括一個(gè)客戶端Client、編號(hào)為01到N的η個(gè)數(shù)據(jù)中心,各數(shù)據(jù)中心都有一個(gè)資源 管理器ResourceManager和多個(gè)節(jié)點(diǎn)管理器NodeManager,其中各數(shù)據(jù)中心的資源管理器 與客戶端之間采用廣域網(wǎng)鏈接,各數(shù)據(jù)中心的資源管理器之間采用廣域網(wǎng)鏈接,各數(shù)據(jù)中 心的資源管理器與節(jié)點(diǎn)管理器之間由局域網(wǎng)鏈接;各數(shù)據(jù)中心的資源管理器中均包含一個(gè) Proxyer (P2P代理)模塊,用于各數(shù)據(jù)中心之間建立基于P2P對(duì)等架構(gòu)的聯(lián)邦式任務(wù)調(diào)度 機(jī)制;使各數(shù)據(jù)中心的資源管理器都能接收客戶端MapReduce任務(wù)請(qǐng)求,成為該MapReduce 任務(wù)的主資源管理器。
[0023] 當(dāng)某一數(shù)據(jù)中心的資源管理器成為主資源管理器后,將根據(jù)任務(wù)請(qǐng)求和各數(shù)據(jù)中 心狀態(tài)信息向其它數(shù)據(jù)中心的資源管理器進(jìn)行任務(wù)分派;被分派的資源管理器就成為執(zhí)行 MapReduce任務(wù)的資源管理器,從而就可根據(jù)MapReduce任務(wù)信息和本數(shù)據(jù)中心狀態(tài)實(shí)施 MapReduce任務(wù)的操作。
[0024] 各數(shù)據(jù)中心的資源管理器通過(guò)Proxyer模塊實(shí)時(shí)將本數(shù)據(jù)中心接收MapReduce任 務(wù)和資源信息同步至其他數(shù)據(jù)中心的資源管理器中。
[0025] 各數(shù)據(jù)中心的節(jié)點(diǎn)管理器用于管理MapReduce任務(wù)在本節(jié)點(diǎn)上的具體執(zhí)行,監(jiān)控 MapReduce任務(wù)的資源使用情況(CPU、內(nèi)存、硬盤(pán)、網(wǎng)絡(luò)等),并按預(yù)置算法定時(shí)地將任務(wù)執(zhí) 行情況和本節(jié)點(diǎn)資源情況發(fā)送給本數(shù)據(jù)中心的資源管理器。
[0026] 客戶端包含有一個(gè)Submitter (MapReduce任務(wù)多途徑提交)模塊:用于與各數(shù)據(jù) 中心的資源管理器交互,Client通過(guò)Submitter模塊根據(jù)該模塊預(yù)設(shè)選擇算法,選擇本次 任務(wù)的數(shù)據(jù)中心主資源管理器并提交MapReduce任務(wù)請(qǐng)求,Client可實(shí)時(shí)從主資源管理器 獲取任務(wù)執(zhí)行狀態(tài)。
[0027] 圖2MapReduce任務(wù)跨數(shù)據(jù)中心的調(diào)度系統(tǒng)的數(shù)據(jù)中心的個(gè)數(shù)η可選1至200個(gè);
[0028] 通過(guò)上述系統(tǒng),本發(fā)明提供了跨數(shù)據(jù)中心的MapReduce任務(wù)調(diào)度方法,下面通過(guò) 圖3進(jìn)行描述:
[0029] S301基于P2P對(duì)等架構(gòu),建立一個(gè)聯(lián)邦式任務(wù)調(diào)度機(jī)制的ResourceManager 互聯(lián)結(jié)構(gòu);不同數(shù)據(jù)中心的域名標(biāo)識(shí)不同,處在同一數(shù)據(jù)中心的ResourceManager和 NodeManager使用同一域名標(biāo)識(shí);各數(shù)據(jù)中心的ResourceManager間同步MapReduce任務(wù) 和資源信息;NodeManager定時(shí)向具有相同域名標(biāo)識(shí)的資源管理器匯報(bào)節(jié)點(diǎn)狀態(tài)信息;
[0030] 數(shù)據(jù)中心 ResourceManager 通過(guò) Proxyer 實(shí)現(xiàn) P2P 對(duì)等互聯(lián),各 ResourceManager 間實(shí)時(shí)同步MapReduce任務(wù)和資源信息,各數(shù)據(jù)中心中的NodeManager資源被所有數(shù)據(jù)中 心共享;
[0031] S302Client通過(guò)Submitter模塊,根據(jù)MapReduce任務(wù)請(qǐng)求和預(yù)置策略,選擇本 次MapReduce任務(wù)主數(shù)據(jù)中心并向其提交MapReduce任務(wù)請(qǐng)求;所述預(yù)設(shè)選擇策略包括隨 機(jī)映射、規(guī)則映射表、距離度量、性能優(yōu)先等方法;預(yù)設(shè)策略可由本領(lǐng)域技術(shù)人員根據(jù)需要 靈活定制;
[0032] 所述MapReduce任務(wù)請(qǐng)求包括Map和Reduce的輸入數(shù)據(jù)路徑、輸出數(shù)據(jù)路徑、Map 和Reduce任務(wù)個(gè)數(shù)、輸入數(shù)據(jù)在各數(shù)據(jù)中心的分布、任務(wù)優(yōu)先級(jí)、資源權(quán)限等特征。
[0033] S303上述主數(shù)據(jù)中心ResourceManager按預(yù)設(shè)調(diào)度算法進(jìn)行任務(wù)分析拆解,將任 務(wù)分派至其它各數(shù)據(jù)中心,各數(shù)據(jù)中心內(nèi)由其ResourceManager進(jìn)行調(diào)度,啟動(dòng)MapReduce 任務(wù)執(zhí)行;
[0034] 主數(shù)據(jù)中心ResourceManager預(yù)設(shè)調(diào)度算法根據(jù)任務(wù)請(qǐng)求和各數(shù)據(jù)中心的數(shù)據(jù) 分布、系統(tǒng)性能、負(fù)載情況等信息,采用數(shù)據(jù)分布優(yōu)先、性能優(yōu)先等策略進(jìn)行任務(wù)拆分并分 派任務(wù)至各數(shù)據(jù)中心,調(diào)度算法也可由本領(lǐng)域技術(shù)人員根據(jù)需要開(kāi)發(fā)定制;
[0035] S304各數(shù)據(jù)中心ResourceManager實(shí)時(shí)將本中心狀態(tài)和MapReduce任務(wù)執(zhí)行信息 實(shí)時(shí)同步至主數(shù)據(jù)中心ResourceManager ;ResourceManager通過(guò)Proxyer在集群間同步狀 態(tài)信息,并負(fù)責(zé)調(diào)度和監(jiān)控本中心MapReduce任務(wù)的執(zhí)行;
[0036] S305客戶端Client可實(shí)時(shí)從主數(shù)據(jù)中心ResourceManager獲取任務(wù)執(zhí)行狀態(tài)信 息,直至任務(wù)結(jié)束。
[0037] 綜上所述,本發(fā)明解決了隨著分散各處的獨(dú)立中小型數(shù)據(jù)中心越來(lái)越多,而難以 實(shí)現(xiàn)各數(shù)據(jù)中心的數(shù)據(jù)資源和計(jì)算資源有效共享,以及如何為數(shù)據(jù)分析應(yīng)用提供統(tǒng)一的 MapReduce任務(wù)提交入口等問(wèn)題,實(shí)現(xiàn)了基于P2P對(duì)等架構(gòu)的實(shí)施簡(jiǎn)便、向前兼容、接口統(tǒng) 一和穩(wěn)定可靠的針對(duì)跨數(shù)據(jù)中心的MapReduce任務(wù)調(diào)度架構(gòu)及方法。
【權(quán)利要求】
1. 一種基于P2P架構(gòu)的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度系統(tǒng),其特征在于,包括一個(gè)客 戶端、η個(gè)數(shù)據(jù)中心,各數(shù)據(jù)中心均有一個(gè)資源管理器和多個(gè)節(jié)點(diǎn)管理器,其中各數(shù)據(jù)中心 的資源管理器與客戶端之間采用廣域網(wǎng)鏈接,各數(shù)據(jù)中心的資源管理器之間采用廣域網(wǎng)鏈 接,各數(shù)據(jù)中心的資源管理器與節(jié)點(diǎn)管理器之間由局域網(wǎng)鏈接;各數(shù)據(jù)中心的資源管理器 均包含一個(gè)P2P代理模塊Proxyer,通過(guò)該P(yáng)roxyer,使各數(shù)據(jù)中心的資源管理器組成一個(gè) P2P對(duì)等架構(gòu);各數(shù)據(jù)中心的資源管理器都能接收來(lái)自客戶端的MapReduce任務(wù)請(qǐng)求,成為 主資源管理器,并根據(jù)任務(wù)請(qǐng)求和各數(shù)據(jù)中心忙閑狀態(tài)向其它數(shù)據(jù)中心的資源管理器進(jìn)行 任務(wù)分派;被分派任務(wù)的資源管理器就成為本次MapReduce任務(wù)的執(zhí)行資源管理器;各數(shù) 據(jù)中心的資源管理器將本中心的任務(wù)和資源信息同步至其他數(shù)據(jù)中心的資源管理器中;所 述客戶端包含有一個(gè)MapReduce任務(wù)多途徑提交模塊Submitter :用于與各數(shù)據(jù)中心的資 源管理器交互,客戶端通過(guò)該Submitter的選擇確定本次任務(wù)的數(shù)據(jù)中心主資源管理器, 并提交MapReduce任務(wù)請(qǐng)求,同時(shí)實(shí)時(shí)從主資源管理器獲取任務(wù)執(zhí)行狀態(tài)。
2. -種基于P2P架構(gòu)的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度方法,其特征在于,包括下述步 驟: (1) 通過(guò)各個(gè)數(shù)據(jù)中心資源管理器中的Proxyer建立基于P2P架構(gòu)對(duì)等互聯(lián),使各個(gè)數(shù) 據(jù)中心資源管理器之間實(shí)時(shí)同步各數(shù)據(jù)中心狀態(tài)信息,各數(shù)據(jù)中心中的節(jié)點(diǎn)管理器資源被 所有數(shù)據(jù)中心共享; (2) 客戶端通過(guò)Submitter發(fā)起MapReduce任務(wù)請(qǐng)求,根據(jù)Submitter預(yù)置策略將 MapReduce任務(wù)發(fā)送至某一數(shù)據(jù)中心的資源管理器,由該主資源管理器按預(yù)置的調(diào)度策略 進(jìn)行MapReduce任務(wù)調(diào)度; (3) 主資源管理器按預(yù)設(shè)調(diào)度算法進(jìn)行任務(wù)分析拆解,并分派至其它各數(shù)據(jù)中心的資 源管理器,啟動(dòng)MapReduce任務(wù)執(zhí)行; (4) 各數(shù)據(jù)中心執(zhí)行資源管理器實(shí)時(shí)將任務(wù)執(zhí)行信息同步至主資源管理器,主資源管 理器通過(guò)Proxyer在各數(shù)據(jù)中心間同步狀態(tài)信息,并調(diào)度和監(jiān)控MapReduce任務(wù)的執(zhí)行; (5) 客戶端實(shí)時(shí)從主資源管理器獲取任務(wù)執(zhí)行狀態(tài)信息,直至任務(wù)結(jié)束。
3. 如權(quán)利要求2所述的基于P2P架構(gòu)的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度方法,其特征 在于,所述MapReduce任務(wù)請(qǐng)求包括Map和Reduce的輸入數(shù)據(jù)路徑、輸出數(shù)據(jù)路徑、Map和 Reduce任務(wù)個(gè)數(shù)、任務(wù)優(yōu)先級(jí)、資源權(quán)限任何一特征或者幾個(gè)特征的組合。
4. 如權(quán)利要求2所述的基于P2P架構(gòu)的MapReduce任務(wù)跨數(shù)據(jù)中心調(diào)度方法,其特征 在于,所述客戶端Submitter預(yù)置策略為隨機(jī)映射選擇法和預(yù)設(shè)映射表法。
【文檔編號(hào)】G06F17/50GK104112049SQ201410344229
【公開(kāi)日】2014年10月22日 申請(qǐng)日期:2014年7月18日 優(yōu)先權(quán)日:2014年7月18日
【發(fā)明者】董博, 張漢寧, 鄭慶華, 馬天, 張未展 申請(qǐng)人:西安交通大學(xué)
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
邢台市| 固始县| 榆社县| 察隅县| 娄底市| 阿克| 株洲县| 天气| 卫辉市| 且末县| 新龙县| 汤原县| 碌曲县| 万安县| 屯昌县| 广南县| 石城县| 淮滨县| 甘谷县| 治县。| 商都县| 佛坪县| 凌云县| 筠连县| 桃园市| 镇江市| 丰都县| 漾濞| 招远市| 南丰县| 湾仔区| 格尔木市| 洮南市| 明溪县| 崇明县| 察哈| 北碚区| 泊头市| 海阳市| 汝州市| 临猗县|