欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

MR計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法及裝置與流程

文檔序號:11199205閱讀:476來源:國知局
MR計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法及裝置與流程
本發(fā)明涉及通信領(lǐng)域,尤其涉及一種mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法及裝置。
背景技術(shù)
:mr(mapreduce的簡寫)任務(wù)是分布式系統(tǒng)中的一類重要任務(wù),它運(yùn)行在分布式系統(tǒng)的mr計(jì)算平臺(tái)上。在mr計(jì)算平臺(tái)上,用戶任務(wù)的執(zhí)行過程是:首先將提交的用戶任務(wù)轉(zhuǎn)化成多個(gè)獨(dú)立的mrjob;然后各個(gè)mrjob并行執(zhí)行,完成用戶任務(wù)。在mrjob的執(zhí)行過程中,涉及到一種處理,即map端聚合。這里通過一個(gè)示例說明什么是map端聚合。以求1、2、3、4、5的最大值為例。采用map端聚合處理的方案是:首先按照數(shù)據(jù)量將數(shù)據(jù)分成兩組,如[1,2,3]和[4,5],然后針對兩組數(shù)據(jù)分別求出最大值[3]和[5],然后將[3]和[5]組合為[3,5],進(jìn)而求出最大值5。而沒有采用map端聚合的方案是:系統(tǒng)按照數(shù)據(jù)量將數(shù)據(jù)組合為[1,2,3,,4,5],進(jìn)而求出最大值5。當(dāng)執(zhí)行mrjob中的map時(shí),如果map端聚合這種處理功能處于開啟狀態(tài),系統(tǒng)就會(huì)執(zhí)行map端數(shù)據(jù)的聚合。map端聚合這種處理本身需要占用一定的執(zhí)行時(shí)間。如果map端聚合起到較好的聚合效果,那么就會(huì)縮短mrjob的執(zhí)行時(shí)間,提高整個(gè)用戶任務(wù)的執(zhí)行效率。如果map端聚合沒有起到聚合效果(指map的輸入數(shù)據(jù)量等于輸出數(shù)據(jù)量),則不但不會(huì)縮短mrjob的執(zhí)行時(shí)間,反而由于map端聚合也要占用一定的執(zhí)行時(shí)間,較之沒有進(jìn)行map端聚合會(huì)延長mrjob的執(zhí)行時(shí)間,降低整個(gè)用戶任務(wù)的執(zhí)行效率。在一個(gè)用于大數(shù)據(jù)處理的大型mr計(jì)算平臺(tái)上,每天都會(huì)運(yùn)行大量的用戶任務(wù),因此用戶任務(wù)的執(zhí)行效率對于mr計(jì)算平臺(tái)的性能具有很大影響。圖1為map端聚合的場景示意圖。如圖1所示,在求一組數(shù)據(jù)[1,2,3, 4,5,……,50]的最大值時(shí),將數(shù)據(jù)分成5組,分別由五個(gè)線程計(jì)算每組的最大值,然后針對每個(gè)線程得到的結(jié)果再計(jì)算最大值,最后得到[1,2,3,4,5,……,50]的最大值。這種處理方式性能較好,但需要消耗更多的計(jì)算資源。同樣是求一組數(shù)據(jù)[1,2,3,4,5,……,50]的最大值,還可以通過以下兩種情況處理:情況1:將數(shù)據(jù)[1,2,3,4,5,……,50]分成1組,一個(gè)線程計(jì)算[1,2,3,4,5,……,50]的最大值;情況2:將數(shù)據(jù)[1,2,3,4,5,……,50]分成50組,五十個(gè)線程計(jì)算每組的最大值,然后針對每個(gè)線程得到的結(jié)果再計(jì)算最大值。情況1每組處理50個(gè)數(shù)字,性能較差;情況2每組處理1個(gè)數(shù)字,但后續(xù)啟動(dòng)的線程要處理50個(gè)數(shù)字,性能較差,且消耗更多的計(jì)算資源。情況1和情況2都沒有起到較好的聚合效果,因此情況1和情況2的map端聚合是無效的。下面對一些術(shù)語進(jìn)行解釋。物理表:是一種數(shù)據(jù)庫中存儲(chǔ)數(shù)據(jù)的結(jié)構(gòu),也可以簡稱為表。物理表的主鍵(即主關(guān)鍵字):主鍵是指物理表中能唯一確定一條記錄的字段。例如,學(xué)生表(學(xué)號,姓名,性別,班級)包括學(xué)號、姓名、性別、班級這四個(gè)字段,其中學(xué)號能夠唯一確定學(xué)生表中的一條記錄,因此,學(xué)號就是學(xué)生表的一個(gè)主鍵。物理表的外鍵(即外關(guān)鍵字):外鍵用于與另一張表的關(guān)聯(lián),是能確定另一張表記錄的字段,用于保持?jǐn)?shù)據(jù)的一致性。比如,a表中的一個(gè)字段,是b表的主鍵,那么該字段就可以是a表的外鍵。例如,上述的學(xué)生表(學(xué)號,姓名,性別,班級)中,學(xué)號是學(xué)生表的一個(gè)主鍵。上機(jī)記錄表(卡號,學(xué)號,姓名,序列號)中包括“學(xué)號”這個(gè)字段,并且“學(xué)號”是學(xué)生表的主鍵,所以,上機(jī)記錄表(卡號,學(xué)號,姓名,序列號)中的“學(xué)號”是學(xué)生表的外鍵??梢?,外鍵表示了兩個(gè)物理表之間的聯(lián)系。以另一個(gè)物理表的外鍵作主關(guān)鍵字的表被稱為主表,具有此外鍵的表被稱為主表的從表。聚合鍵:以下面的表1為例。如果求表1中各個(gè)性別的總?cè)藬?shù),那么性別為聚合鍵;如果求表1中各個(gè)班級的總?cè)藬?shù),那么班級為聚合鍵;可見,針對表中的哪個(gè)字段做聚合,哪個(gè)字段就是聚合鍵。表1班級性別人數(shù)1年級男101年級女202年級男152年級女18目前,在相關(guān)技術(shù)中,mr計(jì)算平臺(tái)的處理系統(tǒng)對于所有用戶任務(wù)的map端聚合要么全部開啟,要么全部關(guān)閉。這種“一刀切”的方式既不能利用有效的map端聚合提高用戶任務(wù)的執(zhí)行效率,也不能避免無效的map端聚合降低用戶任務(wù)的執(zhí)行效率。技術(shù)實(shí)現(xiàn)要素:本發(fā)明的目的在于提供一種mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法及裝置,提高用戶任務(wù)的執(zhí)行效率,提升mr計(jì)算平臺(tái)性能。為實(shí)現(xiàn)上述目的,本發(fā)明提出了一種mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,包括:接收提交的用戶任務(wù);檢測接收的所述用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;根據(jù)檢測結(jié)果自動(dòng)控制是否開啟所述用戶任務(wù)的map端聚合。進(jìn)一步地,上述方法還可具有以下特點(diǎn),所述map端聚合開啟條件包括:所述用戶任務(wù)為非建表語句,聚合鍵不是所述用戶任務(wù)的物理表的主鍵并且也不是所述用戶任務(wù)的物理表的外鍵。進(jìn)一步地,上述方法還可具有以下特點(diǎn),所述map端聚合開啟條件包括:所述用戶任務(wù)為非建表語句,所述用戶任務(wù)的歷史map端聚合記錄中的map端聚合的總輸入數(shù)據(jù)量與總輸出數(shù)據(jù)量的比例大于或等于預(yù)設(shè)的 比例閾值。進(jìn)一步地,上述方法還可具有以下特點(diǎn),所述map端聚合開啟條件包括:所述用戶任務(wù)為非建表語句,所述用戶任務(wù)被人工設(shè)置了map端聚合。進(jìn)一步地,上述方法還可具有以下特點(diǎn),在所述接收提交的用戶任務(wù)之前,還包括:預(yù)設(shè)所述map端聚合開啟條件。進(jìn)一步地,上述方法還可具有以下特點(diǎn),還包括:在所述用戶任務(wù)為建表語句的情況下,執(zhí)行所述建表語句,創(chuàng)建物理表;提示用戶指定創(chuàng)建的所述物理表的主鍵和外鍵;根據(jù)用戶指定設(shè)置創(chuàng)建的所述物理表的主鍵和外鍵。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,能夠提高用戶任務(wù)的執(zhí)行效率,提升mr計(jì)算平臺(tái)性能。為實(shí)現(xiàn)上述目的,本發(fā)明還提出了一種mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,包括:接收模塊,用于接收提交的用戶任務(wù);檢測模塊,用于檢測所述接收模塊接收的所述用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;控制模塊,用于根據(jù)所述檢測模塊的檢測結(jié)果自動(dòng)控制是否開啟所述用戶任務(wù)的map端聚合。進(jìn)一步地,上述裝置還可具有以下特點(diǎn),所述map端聚合開啟條件包括:所述用戶任務(wù)為非建表語句,聚合鍵不是所述用戶任務(wù)的物理表的主鍵并且也不是所述用戶任務(wù)的物理表的外鍵。進(jìn)一步地,上述裝置還可具有以下特點(diǎn),所述map端聚合開啟條件包括:所述用戶任務(wù)為非建表語句,所述用戶任務(wù)的歷史map端聚合記錄中的map端聚合的總輸入數(shù)據(jù)量與總輸出數(shù)據(jù)量的比例大于或等于預(yù)設(shè)的 比例閾值。進(jìn)一步地,上述裝置還可具有以下特點(diǎn),所述map端聚合開啟條件包括:所述用戶任務(wù)為非建表語句,所述用戶任務(wù)被人工設(shè)置了map端聚合。進(jìn)一步地,上述裝置還可具有以下特點(diǎn),還包括:預(yù)設(shè)模塊,與所述檢測模塊相連,用于預(yù)設(shè)所述map端聚合開啟條件。進(jìn)一步地,上述裝置還可具有以下特點(diǎn),還包括:創(chuàng)建模塊,用于在所述用戶任務(wù)為建表語句的情況下,執(zhí)行所述建表語句,創(chuàng)建物理表;提示模塊,用于提示用戶指定所述創(chuàng)建模塊創(chuàng)建的所述物理表的主鍵和外鍵;設(shè)置模塊,用于根據(jù)用戶指定設(shè)置所述創(chuàng)建模塊創(chuàng)建的所述物理表的主鍵和外鍵。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,能夠提高用戶任務(wù)的執(zhí)行效率,提升mr計(jì)算平臺(tái)性能。為實(shí)現(xiàn)上述目的,本發(fā)明還提出了一種mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,包括:處理器;用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器;所述處理器被配置為:接收提交的用戶任務(wù);檢測接收的所述用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;根據(jù)檢測結(jié)果自動(dòng)控制是否開啟所述用戶任務(wù)的map端聚合。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,能夠提高用戶任務(wù)的執(zhí)行效率,提升mr計(jì)算平臺(tái)性能。附圖說明圖1為map端聚合的場景示意圖。圖2為本發(fā)明實(shí)施例一中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制 方法的流程圖。圖3為本發(fā)明實(shí)施例二中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法的流程圖。圖4為本發(fā)明實(shí)施例三中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法的流程圖。圖5為本發(fā)明實(shí)施例四中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置的結(jié)構(gòu)框圖。圖6為本發(fā)明實(shí)施例五中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置的結(jié)構(gòu)框圖。圖7為本發(fā)明實(shí)施例六中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置的結(jié)構(gòu)框圖。具體實(shí)施方式以下結(jié)合附圖對本發(fā)明的原理和特征進(jìn)行描述,所舉實(shí)施例只用于解釋本發(fā)明,并非用于限定本發(fā)明的范圍。對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,根據(jù)本發(fā)明精神所獲得的所有實(shí)施例,都屬于本發(fā)明的保護(hù)范圍。圖2為本發(fā)明實(shí)施例一中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法的流程圖。如圖2所示,本實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法可以包括如下步驟:步驟s201,接收提交的用戶任務(wù);步驟s202,檢測接收的用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;map端聚合開啟條件是指能夠?qū)τ脩羧蝿?wù)進(jìn)行有效map端聚合的提交。用戶任務(wù)滿足map端聚合開啟條件,通常意味著對該用戶任務(wù)進(jìn)行map端聚合是有效的,能夠提高mr計(jì)算平臺(tái)的性能。用戶任務(wù)不滿足map端聚合開啟條件,通常意味著對該用戶任務(wù)進(jìn)行map端聚合是無效的,既浪費(fèi)了較多的計(jì)算資源,又不能提高mr計(jì)算平臺(tái)的性能。其中,map端聚合開啟條件可以包括:用戶任務(wù)為非建表語句,聚合鍵不是用戶任務(wù)的物理表的主鍵并且也不是用戶任務(wù)的物理表的外鍵。為 了引用方便,以下將該map端聚合開啟條件簡稱為map端聚合開啟條件一。當(dāng)聚合鍵為物理表的主鍵或外鍵時(shí),進(jìn)行map端聚合的結(jié)果是輸出等于輸入,map端聚合肯定是無效的。因此,只有在聚合鍵不是用戶任務(wù)的物理表的主鍵并且也不是用戶任務(wù)的物理表的外鍵的情況下,進(jìn)行map端聚合才可能有效。map端聚合開啟條件一排除了一類map端聚合無效的用戶任務(wù),避免對這類用戶任務(wù)進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。其中,建表語句可以是ddl(datadefinitionlanguage,數(shù)據(jù)定義語言)建表語句或其他建表語句。對于首次運(yùn)行和非首次運(yùn)行的用戶任務(wù),都可以通過上述的map端聚合開啟條件一來判斷是否需要開啟map端聚合。其中,map端聚合開啟條件還可以包括:用戶任務(wù)為非建表語句,用戶任務(wù)的歷史map端聚合記錄中的map端聚合的總輸入數(shù)據(jù)量與總輸出數(shù)據(jù)量的比例大于或等于預(yù)設(shè)的比例閾值。比例閾值可以依據(jù)經(jīng)驗(yàn)值來設(shè)定。以下將該map端聚合開啟條件簡稱為map端聚合開啟條件二。當(dāng)用戶任務(wù)的歷史map端聚合記錄中的map端聚合的總輸入數(shù)據(jù)量與總輸出數(shù)據(jù)量的比例大于或等于預(yù)設(shè)的比例閾值時(shí),說明該用戶任務(wù)的map端聚合是有效的,因此可以開啟該用戶任務(wù)的map端聚合。如果說map端聚合開啟條件一是以類似“黑名單”的方式排除了一類map端聚合無效的用戶任務(wù),那么map端聚合開啟條件二則是以類似“白名單”的方式包括了一類map端聚合有效的用戶任務(wù)。在應(yīng)用中,map端聚合開啟條件二適合于對非首次運(yùn)行的用戶任務(wù)判斷是否需要開啟map端聚合。其中,map端聚合開啟條件還可以包括:用戶任務(wù)為非建表語句,并且用戶任務(wù)被人工設(shè)置了map端聚合。以下將該map端聚合開啟條件簡稱為map端聚合開啟條件三。map端聚合開啟條件三使得本發(fā)明能夠根據(jù)用戶針對具體用戶任務(wù)的具體需要來判斷是否開啟map端聚合,有助于滿足用戶的個(gè)性化需求,提高用戶的滿意度。在應(yīng)用中,可以同時(shí)預(yù)設(shè)多個(gè)map端聚合開啟條件,只要用戶任務(wù)符 合其中一個(gè)map端聚合開啟條件,就開啟用戶任務(wù)的map端聚合。步驟s203,根據(jù)檢測結(jié)果自動(dòng)控制是否開啟該用戶任務(wù)的map端聚合。即,當(dāng)接收的用戶任務(wù)符合預(yù)設(shè)的map端聚合開啟條件時(shí),開啟該用戶任務(wù)的map端聚合;當(dāng)接收的用戶任務(wù)不符合預(yù)設(shè)的map端聚合開啟條件時(shí),關(guān)閉該用戶任務(wù)的map端聚合。這樣,就可以合理地控制用戶任務(wù)map端聚合的開啟,使得map端聚合有效地進(jìn)行,避免進(jìn)行無效的map端聚合,導(dǎo)致計(jì)算資源的浪費(fèi)和mr計(jì)算平臺(tái)性能的降低。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,能夠根據(jù)具體情況自主控制是否對用戶任務(wù)執(zhí)行map端聚合,使用戶任務(wù)進(jìn)行有效的map端聚合,避免進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。圖3為本發(fā)明實(shí)施例二中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法的流程圖。如圖2所示,本實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法可以包括如下步驟:步驟s301,預(yù)設(shè)map端聚合開啟條件;通過本步驟,用戶可以根據(jù)用戶任務(wù)的特點(diǎn)來設(shè)置或修改map端聚合開啟條件,以便map端聚合開啟條件與用戶任務(wù)的特點(diǎn)相適應(yīng),從而提高處理效率。例如,要處理的所有用戶任務(wù)都是已經(jīng)運(yùn)行過的,也就是說,要處理的所有用戶任務(wù)都是非首次運(yùn)行,那么map端聚合開啟條件可以僅僅設(shè)置為一個(gè),即前述的map端聚合開啟條件二。這樣,就不必一一判斷所有的map端聚合開啟條件,進(jìn)一步提高了用戶任務(wù)的執(zhí)行效率,從而能夠進(jìn)一步提升mr計(jì)算平臺(tái)性能。步驟s302,接收提交的用戶任務(wù);步驟s303,檢測接收的用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;步驟s304,根據(jù)檢測結(jié)果自動(dòng)控制是否開啟該用戶任務(wù)的map端聚合。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,能夠根據(jù)具體情況自主控制是否對用戶任務(wù)執(zhí)行map端聚合,使用戶任務(wù)進(jìn) 行有效的map端聚合,避免進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。并且,本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,還使用戶能夠根據(jù)用戶任務(wù)的特點(diǎn)來設(shè)置或修改map端聚合開啟條件,以使map端聚合開啟條件與用戶任務(wù)的特點(diǎn)相適應(yīng),從而進(jìn)一步提高用戶任務(wù)的執(zhí)行效率,提升mr計(jì)算平臺(tái)性能。圖4為本發(fā)明實(shí)施例三中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法的流程圖。如圖4所示,本實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法可以包括如下步驟:步驟s401,接收提交的用戶任務(wù);步驟s402,檢測該用戶任務(wù)是否為建表語句,如果該用戶任務(wù)是建表語句,則執(zhí)行步驟s409,如果該用戶任務(wù)不是建表語句(或者說該用戶任務(wù)為非建表語句),則執(zhí)行步驟s403;步驟s403,檢測該用戶任務(wù)是否已被人工設(shè)置map端聚合,如果該用戶任務(wù)已被人工設(shè)置map端聚合,則執(zhí)行步驟s408,如果該用戶任務(wù)未被人工設(shè)置map端聚合,則執(zhí)行步驟s404;步驟s404,檢測聚合鍵是否是該用戶任務(wù)物理表的主鍵或者外鍵,如果聚合鍵是該用戶任務(wù)物理表的主鍵或者外鍵,則執(zhí)行步驟s405,否則,如果聚合鍵既不是該用戶任務(wù)物理表的主鍵也不是該用戶任務(wù)物理表的外鍵,則執(zhí)行步驟s408;步驟s405,檢測該用戶任務(wù)是否為首次運(yùn)行,如果該用戶任務(wù)為首次運(yùn)行,則執(zhí)行步驟s407,如果該用戶任務(wù)不是首次運(yùn)行,則執(zhí)行步驟s406;步驟s406,檢測用戶任務(wù)的歷史map端聚合記錄中的map端聚合的總輸入數(shù)據(jù)量與總輸出數(shù)據(jù)量的比例是否小于預(yù)設(shè)的比例閾值,如果小于則執(zhí)行步驟s407,否則執(zhí)行步驟s408;步驟s407,開啟該用戶任務(wù)的map端聚合,結(jié)束;步驟s408,關(guān)閉該用戶任務(wù)的map端聚合,結(jié)束;步驟s409,執(zhí)行建表語句,創(chuàng)建物理表;步驟s410,提示用戶指定步驟s409所創(chuàng)建的物理表的主鍵和外鍵;步驟s411,根據(jù)用戶指定設(shè)置創(chuàng)建的物理表的主鍵和外鍵,結(jié)束。如果用戶沒有指定物理表的主鍵和外鍵,默認(rèn)該物理表沒有主鍵和外鍵。為物理表設(shè)置了主鍵和外鍵后,方便在以后根據(jù)前述的map端聚合開啟條件一對涉及該物理表的用戶任務(wù)是否進(jìn)行map端聚合進(jìn)行判斷。這樣有助于擴(kuò)大能夠進(jìn)行有效判斷的用戶任務(wù)的范圍。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,能夠根據(jù)具體情況自主控制是否對用戶任務(wù)執(zhí)行map端聚合,使用戶任務(wù)進(jìn)行有效的map端聚合,避免進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。本發(fā)明還提出了mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,用以實(shí)施上述的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法。本發(fā)明前述mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法實(shí)施例中的原理說明,也同樣適用于下述的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置實(shí)施例。圖5為本發(fā)明實(shí)施例四中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置的結(jié)構(gòu)框圖。如圖5所示,本實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置500可以包括接收模塊510、檢測模塊520和控制模塊530。接收模塊510、檢測模塊520和控制模塊530順次相連。其中,接收模塊510用于接收提交的用戶任務(wù)。檢測模塊520用于檢測接收模塊510接收的用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件。控制模塊530用于根據(jù)檢測模塊520的檢測結(jié)果自動(dòng)控制是否開啟用戶任務(wù)的map端聚合。其中,map端聚合開啟條件可以包括:用戶任務(wù)為非建表語句,聚合鍵不是用戶任務(wù)的物理表的主鍵并且也不是用戶任務(wù)的物理表的外鍵。其中,建表語句可以是ddl建表語句或其他建表語句。其中,map端聚合開啟條件還可以包括:用戶任務(wù)為非建表語句,用戶任務(wù)的歷史map端聚合記錄中的map端聚合的總輸入數(shù)據(jù)量與總輸出數(shù)據(jù)量的比例大于或等于預(yù)設(shè)的比例閾值。比例閾值可以依據(jù)經(jīng)驗(yàn)值來設(shè)定。其中,map端聚合開啟條件還可以包括:用戶任務(wù)為非建表語句,并且用戶任務(wù)被人工設(shè)置了map端聚合。在應(yīng)用中,可以同時(shí)預(yù)設(shè)多個(gè)map端聚合開啟條件,只要用戶任務(wù)符合其中一個(gè)map端聚合開啟條件,控制模塊530就開啟用戶任務(wù)的map端聚合。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,能夠根據(jù)具體情況自主控制是否對用戶任務(wù)執(zhí)行map端聚合,使用戶任務(wù)進(jìn)行有效的map端聚合,避免進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。圖6為本發(fā)明實(shí)施例五中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置的結(jié)構(gòu)框圖。如圖6所示,本實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置500可以包括接收模塊510、檢測模塊520、控制模塊530和預(yù)設(shè)模塊540。接收模塊510、檢測模塊520和控制模塊530順次相連。預(yù)設(shè)模塊540與檢測模塊520相連。其中,接收模塊510用于接收提交的用戶任務(wù)。檢測模塊520用于檢測接收模塊510接收的用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件。控制模塊530用于根據(jù)檢測模塊520的檢測結(jié)果自動(dòng)控制是否開啟用戶任務(wù)的map端聚合。預(yù)設(shè)模塊540用于預(yù)設(shè)map端聚合開啟條件。通過預(yù)設(shè)模塊540,用戶可以根據(jù)用戶任務(wù)的特點(diǎn)來設(shè)置或修改map端聚合開啟條件,以便map端聚合開啟條件與用戶任務(wù)的特點(diǎn)相適應(yīng),從而提高處理效率。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,能夠根據(jù)具體情況自主控制是否對用戶任務(wù)執(zhí)行map端聚合,使用戶任務(wù)進(jìn)行有效的map端聚合,避免進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。并且,本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,還使用戶能夠根據(jù)用戶任務(wù)的特點(diǎn)來設(shè)置或修改map端聚合開啟條件,以使map端聚合開啟條件與用戶任務(wù)的特點(diǎn)相適應(yīng),從而進(jìn)一步提高用戶任務(wù)的執(zhí)行效率,提升mr計(jì)算平臺(tái)性能。在本發(fā)明其他實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置還可以包括創(chuàng)建模塊、提示模塊和設(shè)置模塊。提示模塊和設(shè)置模塊分 別與創(chuàng)建模塊相連。創(chuàng)建模塊用于在用戶任務(wù)為建表語句的情況下,執(zhí)行建表語句,創(chuàng)建物理表。提示模塊用于提示用戶指定創(chuàng)建模塊創(chuàng)建的物理表的主鍵和外鍵。設(shè)置模塊用于根據(jù)用戶指定設(shè)置創(chuàng)建模塊創(chuàng)建的物理表的主鍵和外鍵。圖7為本發(fā)明實(shí)施例六中mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置的結(jié)構(gòu)框圖。如圖7所示,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700可以包括以下一個(gè)或多個(gè)組件:處理組件702,存儲(chǔ)器704,電源組件706,多媒體組件708,音頻組件710,輸入/輸出(i/o)的接口712,傳感器組件714,以及通信組件716。處理組件702通??刂苖r計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的整體操作,例如與顯示,電話呼叫,數(shù)據(jù)通信,相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理元件702可以包括一個(gè)或多個(gè)處理器720來執(zhí)行指令,以完成上述的方法的全部或部分步驟,具體包括:接收提交的用戶任務(wù);檢測接收的用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;根據(jù)檢測結(jié)果自動(dòng)控制是否開啟用戶任務(wù)的map端聚合。此外,處理組件702可以包括一個(gè)或多個(gè)模塊,便于處理組件702和其他組件之間的交互。例如,處理部件702可以包括多媒體模塊,以方便多媒體組件708和處理組件702之間的交互。存儲(chǔ)器704被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的操作。這些數(shù)據(jù)的示例包括用于在mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700上操作的任何應(yīng)用程序或方法的指令,聯(lián)系人數(shù)據(jù),電話簿數(shù)據(jù),消息,圖片,視頻等。存儲(chǔ)器704可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn),如靜態(tài)隨機(jī)存取存儲(chǔ)器(sram),電可擦除可編程只讀存儲(chǔ)器(eeprom),可擦除可編程只讀存儲(chǔ)器(eprom),可編程只讀存儲(chǔ)器(prom),只讀存儲(chǔ)器(rom),磁存儲(chǔ)器,快閃存儲(chǔ)器,磁盤或光盤。電力組件706為mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的各種組件提供電力。電力組件706可以包括電源管理系統(tǒng),一個(gè)或多個(gè)電源,及其他與為mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700生成、管理和分配電力相關(guān)聯(lián)的組件。多媒體組件708包括在所述mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中,屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板,屏幕可以被實(shí)現(xiàn)為觸摸屏,以接收來自用戶的輸入信號。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測觸摸、滑動(dòng)和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動(dòng)動(dòng)作的邊界,而且還檢測與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中,多媒體組件808包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700處于操作模式,如拍攝模式或視頻模式時(shí),前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。音頻組件710被配置為輸出和/或輸入音頻信號。例如,音頻組件710包括一個(gè)麥克風(fēng)(mic),當(dāng)mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700處于操作模式,如呼叫模式、記錄模式和語音識別模式時(shí),麥克風(fēng)被配置為接收外部音頻信號。所接收的音頻信號可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器704或經(jīng)由通信組件716發(fā)送。在一些實(shí)施例中,音頻組件710還包括一個(gè)揚(yáng)聲器,用于輸出音頻信號。i/o接口712為處理組件702和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤,點(diǎn)擊輪,按鈕等。這些按鈕可包括但不限于:主頁按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。傳感器組件714包括一個(gè)或多個(gè)傳感器,用于為mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700提供各個(gè)方面的狀態(tài)評估。例如,傳感器組件714可以檢測到mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的打開/關(guān)閉狀態(tài),組件的相對定位,例如所述組件為mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的顯示器和小鍵盤,傳感器組件714還可以檢測mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700或mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700一個(gè)組件的位置改變,用戶與mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700接觸的存在或不存在,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700方位或加速/減速和mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的溫度變化。傳感 器組件714可以包括接近傳感器,被配置用來在沒有任何的物理接觸時(shí)檢測附近物體的存在。傳感器組件714還可以包括光傳感器,如cmos或ccd圖像傳感器,用于在成像應(yīng)用中使用。在一些實(shí)施例中,該傳感器組件714還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。通信組件716被配置為便于mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700和其他設(shè)備之間有線或無線方式的通信。mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò),如wifi,2g,3g或4g或它們的組合。在一個(gè)示例性實(shí)施例中,通信部件716經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中,所述通信部件716還包括近場通信(nfc)模塊,以促進(jìn)短程通信。例如,在nfc模塊可基于射頻識別(rfid)技術(shù),紅外數(shù)據(jù)協(xié)會(huì)(irda)技術(shù),超寬帶(uwb)技術(shù),藍(lán)牙(bt)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。在示例性實(shí)施例中,mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(asic)、數(shù)字信號處理器(dsp)、數(shù)字信號處理設(shè)備(dspd)、可編程邏輯器件(pld)、現(xiàn)場可編程門陣列(fpga)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn),用于執(zhí)行上述方法。在示例性實(shí)施例中,還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),例如包括指令的存儲(chǔ)器704,上述指令可由mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置700的處理器720執(zhí)行以完成上述方法。例如,所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是rom、隨機(jī)存取存儲(chǔ)器(ram)、cd-rom、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)設(shè)備等。本發(fā)明實(shí)施例還提供了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),當(dāng)所述存儲(chǔ)介質(zhì)中的指令由移動(dòng)終端的處理器執(zhí)行時(shí),使得移動(dòng)終端能夠執(zhí)行一種mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制方法,所述方法包括:接收提交的用戶任務(wù);檢測接收的用戶任務(wù)是否符合預(yù)設(shè)的map端聚合開啟條件;根據(jù)檢測結(jié)果自動(dòng)控制是否開啟用戶任務(wù)的map端聚合。本發(fā)明實(shí)施例的mr計(jì)算平臺(tái)中用戶任務(wù)map端聚合的控制裝置,能 夠根據(jù)具體情況自主控制是否對用戶任務(wù)執(zhí)行map端聚合,使用戶任務(wù)進(jìn)行有效的map端聚合,避免進(jìn)行無效的map端聚合,從而提高了用戶任務(wù)的執(zhí)行效率,提升了mr計(jì)算平臺(tái)性能。以上所述僅為本發(fā)明的較佳實(shí)施例,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁12
當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1
武安市| 石泉县| 屏山县| 布尔津县| 繁昌县| 惠州市| 深圳市| 察隅县| 屯留县| 绥宁县| 胶州市| 来宾市| 龙门县| 通河县| 阜平县| 岗巴县| 宣城市| 丰都县| 木兰县| 八宿县| 沽源县| 达拉特旗| 大名县| 寿阳县| 吉安县| 徐汇区| 微博| 兴国县| 金坛市| 北流市| 晋宁县| 尚志市| 台东县| 泽州县| 乌苏市| 建宁县| 武威市| 乐陵市| 新巴尔虎左旗| 始兴县| 玛纳斯县|