欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

基于垂直劃分模式的分布并行Skyline查詢方法

文檔序號(hào):6436385閱讀:221來(lái)源:國(guó)知局
專利名稱:基于垂直劃分模式的分布并行Skyline查詢方法
技術(shù)領(lǐng)域
本發(fā)明涉及Skyline查詢的分布并行處理方法,尤其是基于數(shù)據(jù)垂直劃分模式的高效分布并行Skyline查詢方法。
背景技術(shù)
Skyline查詢是海量數(shù)據(jù)管理領(lǐng)域亟待解決的核心問(wèn)題之一。Skyline查詢是指從給定的一個(gè)D維的數(shù)據(jù)對(duì)象集合S中選擇一個(gè)子集,該子集中的任意一個(gè)數(shù)據(jù)對(duì)象都不能被S中的任意一個(gè)其他數(shù)據(jù)對(duì)象所控制。所謂控制關(guān)系是指在D維的數(shù)據(jù)對(duì)象集合S中, 如果數(shù)據(jù)對(duì)象P至少在某一維度上優(yōu)于另一個(gè)數(shù)據(jù)對(duì)象q,而且數(shù)據(jù)對(duì)象P在其他維度上都不比數(shù)據(jù)對(duì)象q差(P優(yōu)于或等于q),那么數(shù)據(jù)對(duì)象P能夠控制數(shù)據(jù)對(duì)象q。Skyline查詢是目前解決多目標(biāo)優(yōu)化問(wèn)題的典型方法之一,Skyline查詢已經(jīng)成為數(shù)據(jù)分析和信息提取的重要技術(shù)手段,在城市導(dǎo)航、市場(chǎng)分析、環(huán)境監(jiān)控等諸多領(lǐng)域都有著重要應(yīng)用。近年來(lái),隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和通信技術(shù)的快速發(fā)展,人們獲取、存儲(chǔ)和傳遞數(shù)據(jù)的能力日益增強(qiáng),數(shù)據(jù)的規(guī)模急劇膨脹,“大數(shù)據(jù)”作為信息爆炸的產(chǎn)物應(yīng)運(yùn)而生。隨著數(shù)據(jù)集規(guī)模的不斷增大,Skyline查詢的數(shù)據(jù)處理變得更加復(fù)雜,對(duì)存儲(chǔ)資源和計(jì)算資源的需求也急劇增長(zhǎng),Skyline查詢的處理效率逐漸成為影響數(shù)據(jù)分析和信息提取效果的關(guān)鍵因素。隨著集群計(jì)算、網(wǎng)格計(jì)算、對(duì)等計(jì)算、云計(jì)算等網(wǎng)絡(luò)計(jì)算模式的不斷發(fā)展,分布并行計(jì)算技術(shù)已經(jīng)日趨成熟,并逐漸成為提高海量數(shù)據(jù)處理效率的有效技術(shù)途徑之一。分布并行計(jì)算將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲(chǔ)空間和各種軟件服務(wù)。將分布并行計(jì)算技術(shù)與海量數(shù)據(jù)的Skyline查詢相結(jié)合,可以通過(guò)開發(fā)查詢計(jì)算的并行性來(lái)提高查詢處理效率。目前,數(shù)據(jù)分布的模式主要包括水平劃分模式和垂直劃分模式。水平劃分模式是指數(shù)據(jù)分布在多個(gè)節(jié)點(diǎn)上,每個(gè)節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)是整個(gè)數(shù)據(jù)集的一部分,且各節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)是覆蓋全部維度的完整的數(shù)據(jù)對(duì)象。垂直劃分模式是指數(shù)據(jù)分布在多個(gè)節(jié)點(diǎn)上,每個(gè)節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)是整個(gè)數(shù)據(jù)集的一部分,且各節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)是所有數(shù)據(jù)對(duì)象在一個(gè)或者多個(gè)維度上的所有數(shù)據(jù),而不是完整的數(shù)據(jù)對(duì)象?,F(xiàn)有的基于垂直劃分模式的分布并行 Skyline 查詢方法(W. -T. Balke, U. Giintzer, J. Zheng. Efficient Distributed Skylining for Web Information Systems. In Proc of the Int. Conf. on Extending Database Technology (EDBT,04),Heraklion, Crete, Greece, 2004, 256-273.)將不同維度的數(shù)據(jù)分布存儲(chǔ)在各計(jì)算節(jié)點(diǎn)上,各計(jì)算節(jié)點(diǎn)負(fù)責(zé)對(duì)各自存儲(chǔ)的維度數(shù)據(jù)進(jìn)行排序,然后統(tǒng)一發(fā)送給協(xié)調(diào)節(jié)點(diǎn),協(xié)調(diào)節(jié)點(diǎn)負(fù)責(zé)基于各計(jì)算節(jié)點(diǎn)的排序結(jié)果進(jìn)行Skyline查詢處理。由此可見(jiàn), 大量的查詢處理任務(wù)主要集中在協(xié)調(diào)節(jié)點(diǎn),Skyline查詢處理的并行性沒(méi)有得到充分開發(fā), 計(jì)算節(jié)點(diǎn)的數(shù)據(jù)處理能力沒(méi)有得到充分利用,從而導(dǎo)致分布并行Skyline查詢方法的處理效率十分有限,難以充分滿足海量數(shù)據(jù)分析和信息提取的實(shí)際需求。因此,如何針對(duì)海量數(shù)據(jù)及其Skyline查詢的本質(zhì)特點(diǎn),結(jié)合分布并行計(jì)算環(huán)境的資源特點(diǎn),設(shè)計(jì)基于垂直劃分模式的高效分布并行Skyline查詢方法,保證Skyline查詢處理的效率和查詢結(jié)果的正確性,已經(jīng)成為并行與分布處理領(lǐng)域的熱點(diǎn)研究問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有的基于垂直劃分模式的分布并行Skyline 查詢方法處理效率不高的問(wèn)題,提出一種基于垂直劃分模式的分布并行Skyline查詢方法,充分開發(fā)Skyline查詢處理的并行性,在保證查詢結(jié)果的正確性的前提下,顯著提高 Skyline查詢處理的效率。本發(fā)明技術(shù)方案包括以下步驟第一步,構(gòu)建一個(gè)分布并行計(jì)算環(huán)境,它由多個(gè)節(jié)點(diǎn)構(gòu)成,每個(gè)節(jié)點(diǎn)都是一臺(tái)可獨(dú)立運(yùn)行的計(jì)算機(jī),各節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)設(shè)備互連。分布并行計(jì)算環(huán)境中的節(jié)點(diǎn)分為兩類協(xié)調(diào)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。分布并行計(jì)算環(huán)境包括一個(gè)協(xié)調(diào)節(jié)點(diǎn),協(xié)調(diào)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)原始數(shù)據(jù)集中的所有數(shù)據(jù)對(duì)象的編號(hào),負(fù)責(zé)與用戶交互,接收用戶提交的查詢請(qǐng)求,向各計(jì)算節(jié)點(diǎn)分發(fā)查詢處理任務(wù)和收集查詢處理結(jié)果,并向用戶返回查詢結(jié)果。分布并行計(jì)算環(huán)境包括N個(gè)計(jì)算節(jié)點(diǎn)(N是原始數(shù)據(jù)集中數(shù)據(jù)對(duì)象的維度數(shù)目,N為正整數(shù)),每個(gè)計(jì)算節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)原始數(shù)據(jù)集的一個(gè)維度上的所有數(shù)據(jù), 計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理任務(wù),并向協(xié)調(diào)節(jié)點(diǎn)返回查詢處理結(jié)果。協(xié)調(diào)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)上均安裝有操作系統(tǒng)、TCP/IP協(xié)議軟件,配置了網(wǎng)絡(luò)環(huán)境。協(xié)調(diào)節(jié)點(diǎn)上安裝有任務(wù)調(diào)度程序和結(jié)果分析處理程序。任務(wù)調(diào)度程序接收用戶提交的Skyline查詢請(qǐng)求,向各計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù)。結(jié)果分析處理程序負(fù)責(zé)收集計(jì)算節(jié)點(diǎn)的Skyline查詢處理結(jié)果,并對(duì)收集到的所有計(jì)算節(jié)點(diǎn)的Skyline查詢處理結(jié)果再進(jìn)行Skyline查詢處理以得到最終的Skyline查詢結(jié)果。計(jì)算節(jié)點(diǎn)上安裝有查詢處理程序。查詢處理程序負(fù)責(zé)接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢請(qǐng)求,并對(duì)計(jì)算節(jié)點(diǎn)上存儲(chǔ)的原始數(shù)據(jù)集進(jìn)行Skyline查詢處理。第二步,協(xié)調(diào)節(jié)點(diǎn)執(zhí)行任務(wù)調(diào)度程序,向各計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù);各計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理程序,接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù),并行進(jìn)行 Skyline查詢處理。2. 1協(xié)調(diào)節(jié)點(diǎn)的任務(wù)調(diào)度程序接收用戶提交的Skyline查詢請(qǐng)求;2. 2協(xié)調(diào)節(jié)點(diǎn)的任務(wù)調(diào)度程序向所有計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù)。具體步驟如下2. 2. 1任務(wù)調(diào)度程序根據(jù)計(jì)算節(jié)點(diǎn)的數(shù)目N將原始數(shù)據(jù)集的所有M個(gè)數(shù)據(jù)對(duì)象編號(hào)(M為數(shù)據(jù)對(duì)象編號(hào)總數(shù),M為正整數(shù))分成大小均等的N個(gè)數(shù)據(jù)對(duì)象編號(hào)集合,每個(gè)數(shù)據(jù)對(duì)象編號(hào)集合包括[M/N]個(gè)或者([M/N]+l)個(gè)數(shù)據(jù)對(duì)象編號(hào),[M/N]表示不超過(guò)M/N的最大整數(shù);2. 2. 2任務(wù)調(diào)度程序向所有計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢請(qǐng)求,并向每個(gè)計(jì)算節(jié)點(diǎn)分發(fā)一個(gè)數(shù)據(jù)對(duì)象編號(hào)集合。2. 3每個(gè)計(jì)算節(jié)點(diǎn)的查詢處理程序接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù), 根據(jù)接收的Skyline查詢請(qǐng)求對(duì)各自負(fù)責(zé)的數(shù)據(jù)對(duì)象集合(即收到的數(shù)據(jù)對(duì)象編號(hào)集合對(duì)應(yīng)的數(shù)據(jù)對(duì)象構(gòu)成的集合)進(jìn)行Skyline查詢處理,具體步驟如下
2. 3. 1查詢處理程序接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢請(qǐng)求和數(shù)據(jù)對(duì)象編號(hào)集合;2. 3. 2查詢處理程序初始化查詢處理結(jié)果集合簡(jiǎn)稱Skyline集合LS=0;2. 3. 3查詢處理程序從其他計(jì)算節(jié)點(diǎn)獲取計(jì)算節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)對(duì)象集合中所有數(shù)據(jù)對(duì)象的全部維度數(shù)據(jù),組成本地(即該查詢處理程序所屬計(jì)算節(jié)點(diǎn))原始數(shù)據(jù)集Set ;2. 3. 4查詢處理程序?qū)Ρ镜卦紨?shù)據(jù)集Set中的所有數(shù)據(jù)對(duì)象逐一進(jìn)行數(shù)據(jù)對(duì)象之間的控制關(guān)系判斷,將不被kt中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制的數(shù)據(jù)對(duì)象放到 Skyline集合LS中,即,判斷本地原始數(shù)據(jù)集Set中的每個(gè)數(shù)據(jù)對(duì)象DO與Set中的所有其他數(shù)據(jù)對(duì)象之間的控制關(guān)系,如果DO不被Set中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制,則將DO放入計(jì)算節(jié)點(diǎn)的 Skyline 集合 LS 中,即,LS = LS+ {DO};2. 3. 5查詢處理程序?qū)kyline集合LS返回給協(xié)調(diào)節(jié)點(diǎn)。第三步,協(xié)調(diào)節(jié)點(diǎn)的結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,并對(duì)其進(jìn)行Skyline查詢處理,得到最終的Skyline查詢結(jié)果。3. 1結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS ;3. 2結(jié)果分析處理程序合并所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,得到新數(shù)據(jù)集NS ;3. 3初始化協(xié)調(diào)節(jié)點(diǎn)的Skyline集合GS=0;3. 4結(jié)果分析處理程序?qū)S進(jìn)行Skyline查詢處理,即,判斷NS中的每個(gè)數(shù)據(jù)對(duì)象N_D0與NS中所有其他數(shù)據(jù)對(duì)象之間的控制關(guān)系,如果N_D0不被NS中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制,那么將N_D0放入?yún)f(xié)調(diào)節(jié)點(diǎn)的Skyline集合GS中,S卩,GS = GS+{N_D0};3. 5結(jié)果分析處理程序?qū)kyline集合GS返回給用戶。與現(xiàn)有技術(shù)相比,本發(fā)明具有以下技術(shù)優(yōu)點(diǎn)1.本發(fā)明2.2. 1步和2.2.2步協(xié)調(diào)節(jié)點(diǎn)根據(jù)計(jì)算節(jié)點(diǎn)的數(shù)目均衡分配查詢處理任務(wù),有效保證計(jì)算節(jié)點(diǎn)之間的負(fù)載均衡,為充分開發(fā)Skyline查詢處理的并行性奠定基礎(chǔ)。2.本發(fā)明2. 3. 3步各計(jì)算節(jié)點(diǎn)之間相互交換維度數(shù)據(jù),組成各自的本地原始數(shù)據(jù)集;本發(fā)明2. 3. 4步各計(jì)算節(jié)點(diǎn)同時(shí)對(duì)各自的本地原始數(shù)據(jù)集進(jìn)行Skyline查詢處理,在保證Skyline查詢處理結(jié)果的正確性的前提下,最大限度地開發(fā)Skyline查詢處理的并行性, 提高了 Skyline查詢處理效率。


圖1是本發(fā)明第一步構(gòu)建的分布并行計(jì)算環(huán)境結(jié)構(gòu)圖。圖2是本發(fā)明分布并行計(jì)算環(huán)境的軟件部署圖。圖3是本發(fā)明總流程圖。圖4是本發(fā)明第二步協(xié)調(diào)節(jié)點(diǎn)執(zhí)行任務(wù)調(diào)度程序、各計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理程序的流程圖。圖5是本發(fā)明第三步協(xié)調(diào)節(jié)點(diǎn)執(zhí)行結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的 Skyline集合LS、進(jìn)行Skyline查詢處理以得到最終的Skyline查詢結(jié)果的流程圖。
具體實(shí)施方式
圖1是本發(fā)明第一步構(gòu)建的分布并行計(jì)算環(huán)境的結(jié)構(gòu)圖。分布并行計(jì)算環(huán)境的節(jié)點(diǎn)由協(xié)調(diào)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)組成。協(xié)調(diào)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)均是包含處理器、存儲(chǔ)器、磁盤和網(wǎng)絡(luò)接口的計(jì)算機(jī)。協(xié)調(diào)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)之間通過(guò)互連網(wǎng)絡(luò)相連。圖2是本發(fā)明分布并行計(jì)算環(huán)境的軟件部署圖。協(xié)調(diào)節(jié)點(diǎn)上安裝有操作系統(tǒng)、 TCP/IP協(xié)議軟件、任務(wù)調(diào)度程序和結(jié)果分析處理程序。其中前兩者是通用軟件,可從公開發(fā)行的軟件包中獲得;后兩者是本發(fā)明的專用軟件。計(jì)算節(jié)點(diǎn)上安裝有操作系統(tǒng)軟件、TCP/IP 協(xié)議軟件、查詢處理程序。其中前兩者是通用軟件,可從公開發(fā)行的軟件包中獲得;查詢處理程序是本發(fā)明的專用軟件。圖3是本發(fā)明總流程圖。具體流程如下第一步,構(gòu)建一個(gè)分布并行計(jì)算環(huán)境,它由多個(gè)節(jié)點(diǎn)構(gòu)成,每個(gè)節(jié)點(diǎn)都是一臺(tái)可獨(dú)立運(yùn)行的計(jì)算機(jī),各節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)設(shè)備互連。第二步,協(xié)調(diào)節(jié)點(diǎn)執(zhí)行任務(wù)調(diào)度程序,向各計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù);各計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理程序,接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù),并行進(jìn)行 Skyline查詢處理。第三步,協(xié)調(diào)節(jié)點(diǎn)的結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,并對(duì)其進(jìn)行Skyline查詢處理,得到最終的Skyline查詢結(jié)果。圖4是本發(fā)明第二步協(xié)調(diào)節(jié)點(diǎn)執(zhí)行任務(wù)調(diào)度程序、各計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理程序的流程圖。具體流程如下2. 1協(xié)調(diào)節(jié)點(diǎn)的任務(wù)調(diào)度程序接收用戶提交的Skyline查詢請(qǐng)求;2. 2協(xié)調(diào)節(jié)點(diǎn)的任務(wù)調(diào)度程序向所有計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù)。具體步驟如下2. 2. 1任務(wù)調(diào)度程序根據(jù)計(jì)算節(jié)點(diǎn)的數(shù)目N將原始數(shù)據(jù)集的所有M個(gè)數(shù)據(jù)對(duì)象編號(hào)分成大小均等的N個(gè)數(shù)據(jù)對(duì)象編號(hào)集合,每個(gè)數(shù)據(jù)對(duì)象編號(hào)集合包括[M/N]個(gè)或者([M/ N]+l)個(gè)數(shù)據(jù)對(duì)象編號(hào);2. 2. 2任務(wù)調(diào)度程序向所有計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢請(qǐng)求,并向每個(gè)計(jì)算節(jié)點(diǎn)分發(fā)一個(gè)數(shù)據(jù)對(duì)象編號(hào)集合。2. 3每個(gè)計(jì)算節(jié)點(diǎn)的查詢處理程序接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù), 根據(jù)接收的Skyline查詢請(qǐng)求對(duì)各自負(fù)責(zé)的數(shù)據(jù)對(duì)象集合(即接收的數(shù)據(jù)對(duì)象編號(hào)集合對(duì)應(yīng)的數(shù)據(jù)對(duì)象構(gòu)成的集合)進(jìn)行Skyline查詢處理,具體步驟如下2. 3. 1計(jì)算節(jié)點(diǎn)的查詢處理程序接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢請(qǐng)求和數(shù)據(jù)對(duì)象編號(hào)集合;2. 3. 2計(jì)算節(jié)點(diǎn)的查詢處理程序初始化查詢處理結(jié)果集合簡(jiǎn)稱Skyline集合 LS=0;2. 3. 3計(jì)算節(jié)點(diǎn)的查詢處理程序從其他計(jì)算節(jié)點(diǎn)獲取計(jì)算節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)對(duì)象集合中所有數(shù)據(jù)對(duì)象的全部維度數(shù)據(jù),組成本地(即該查詢處理程序所屬計(jì)算節(jié)點(diǎn))原始數(shù)據(jù)集Set ;2. 3. 4計(jì)算節(jié)點(diǎn)的查詢處理程序?qū)ω?fù)責(zé)的數(shù)據(jù)對(duì)象集合中的所有數(shù)據(jù)對(duì)象逐一進(jìn)行數(shù)據(jù)對(duì)象之間的控制關(guān)系判斷,得到Skyline集合LS ;2. 3. 5計(jì)算節(jié)點(diǎn)的查詢處理程序?qū)kyline集合LS返回給協(xié)調(diào)節(jié)點(diǎn)。
圖5是本發(fā)明第三步協(xié)調(diào)節(jié)點(diǎn)執(zhí)行結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的 Skyline集合LS、進(jìn)行Skyline查詢處理以得到最終的Skyline查詢結(jié)果的流程圖。具體流程如下3. 1結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS ;3. 2結(jié)果分析處理程序合并所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,得到新數(shù)據(jù)集NS ;3. 3初始化協(xié)調(diào)節(jié)點(diǎn)的Skyline集合GS=0;3. 4結(jié)果分析處理程序?qū)S進(jìn)行Skyline查詢處理,即,判斷NS中的每個(gè)數(shù)據(jù)對(duì)象N_D0與NS中所有其他數(shù)據(jù)對(duì)象之間的控制關(guān)系,如果N_D0不被NS中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制,那么將N_D0放入?yún)f(xié)調(diào)節(jié)點(diǎn)的Skyline集合GS中,S卩,GS = GS+{N_D0};3. 5結(jié)果分析處理程序?qū)kyline集合GS返回給用戶。
權(quán)利要求
1.一種基于垂直劃分模式的分布并行Skyline查詢方法,其特征在于包括以下步驟 第一步,構(gòu)建一個(gè)分布并行計(jì)算環(huán)境,它由多個(gè)節(jié)點(diǎn)構(gòu)成,每個(gè)節(jié)點(diǎn)都是一臺(tái)可獨(dú)立運(yùn)行的計(jì)算機(jī),各節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)設(shè)備互連;節(jié)點(diǎn)包括一個(gè)協(xié)調(diào)節(jié)點(diǎn)和N個(gè)計(jì)算節(jié)點(diǎn),N是原始數(shù)據(jù)集中數(shù)據(jù)對(duì)象的維度數(shù)目,N為正整數(shù);協(xié)調(diào)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)原始數(shù)據(jù)集中的所有數(shù)據(jù)對(duì)象的編號(hào),負(fù)責(zé)與用戶交互,接收用戶提交的查詢請(qǐng)求,向各計(jì)算節(jié)點(diǎn)分發(fā)查詢處理任務(wù)和收集查詢處理結(jié)果,并向用戶返回查詢結(jié)果;每個(gè)計(jì)算節(jié)點(diǎn)存儲(chǔ)原始數(shù)據(jù)集的一個(gè)維度上的所有數(shù)據(jù),計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理任務(wù),并向協(xié)調(diào)節(jié)點(diǎn)返回查詢處理結(jié)果;協(xié)調(diào)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)上均安裝有操作系統(tǒng)、TCP/IP協(xié)議軟件,配置了網(wǎng)絡(luò)環(huán)境;協(xié)調(diào)節(jié)點(diǎn)上安裝有任務(wù)調(diào)度程序和結(jié)果分析處理程序,任務(wù)調(diào)度程序接收用戶提交的Skyline查詢請(qǐng)求,向各計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù),結(jié)果分析處理程序負(fù)責(zé)收集計(jì)算節(jié)點(diǎn)的Skyline查詢處理結(jié)果,并對(duì)收集到的所有計(jì)算節(jié)點(diǎn)的Skyline查詢處理結(jié)果再進(jìn)行Skyline查詢處理以得到最終的Skyline查詢結(jié)果;計(jì)算節(jié)點(diǎn)上安裝有查詢處理程序,查詢處理程序負(fù)責(zé)接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢請(qǐng)求,并對(duì)計(jì)算節(jié)點(diǎn)上存儲(chǔ)的原始數(shù)據(jù)集進(jìn)行Skyline 查詢處理;第二步,協(xié)調(diào)節(jié)點(diǎn)執(zhí)行任務(wù)調(diào)度程序,向各計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù);各計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理程序,接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù),并行進(jìn)行Skyline 查詢處理·2.1協(xié)調(diào)節(jié)點(diǎn)的任務(wù)調(diào)度程序接收用戶提交的Skyline查詢請(qǐng)求;2. 2協(xié)調(diào)節(jié)點(diǎn)的任務(wù)調(diào)度程序向所有計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù),具體步驟如下2. 2. 1任務(wù)調(diào)度程序根據(jù)計(jì)算節(jié)點(diǎn)的數(shù)目N將原始數(shù)據(jù)集的所有M個(gè)數(shù)據(jù)對(duì)象編號(hào)分成大小均等的N個(gè)數(shù)據(jù)對(duì)象編號(hào)集合,每個(gè)數(shù)據(jù)對(duì)象編號(hào)集合包括[M/N]個(gè)或者[M/N]+l 個(gè)數(shù)據(jù)對(duì)象編號(hào),M為數(shù)據(jù)對(duì)象編號(hào)總數(shù),M為正整數(shù),[M/N]表示不超過(guò)M/N的最大整數(shù); 2. 2. 2任務(wù)調(diào)度程序向所有計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢請(qǐng)求,并向每個(gè)計(jì)算節(jié)點(diǎn)分發(fā)一個(gè)數(shù)據(jù)對(duì)象編號(hào)集合;2. 3每個(gè)計(jì)算節(jié)點(diǎn)的查詢處理程序接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù),根據(jù)接收的Skyline查詢請(qǐng)求對(duì)收到的數(shù)據(jù)對(duì)象編號(hào)集合對(duì)應(yīng)的數(shù)據(jù)對(duì)象構(gòu)成的集合進(jìn)行 Skyline查詢處理,具體步驟如下2. 3. 1查詢處理程序接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢請(qǐng)求和數(shù)據(jù)對(duì)象編號(hào)集合; 2. 3. 2查詢處理程序初始化查詢處理結(jié)果集合簡(jiǎn)稱Skyline集合LS=0; 2. 3. 3查詢處理程序從其他計(jì)算節(jié)點(diǎn)獲取計(jì)算節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)對(duì)象集合中所有數(shù)據(jù)對(duì)象的全部維度數(shù)據(jù),組成本地原始數(shù)據(jù)集kt ;2. 3. 4查詢處理程序?qū)Ρ镜卦紨?shù)據(jù)集合Set中的所有數(shù)據(jù)對(duì)象逐一進(jìn)行數(shù)據(jù)對(duì)象之間的控制關(guān)系判斷,將不被Set中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制的數(shù)據(jù)對(duì)象放到Skyline 集合LS中,S卩,判斷本地原始數(shù)據(jù)集Set中的每個(gè)數(shù)據(jù)對(duì)象DO與Set中的所有其他數(shù)據(jù)對(duì)象之間的控制關(guān)系,如果DO不被Set中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制,則將DO放入計(jì)算節(jié)點(diǎn)的 Skyline 集合 LS 中,SP,LS = LS+{DO};2. 3. 5查詢處理程序?qū)kyline集合LS返回給協(xié)調(diào)節(jié)點(diǎn)。第三步,協(xié)調(diào)節(jié)點(diǎn)的結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,并對(duì)其進(jìn)行Skyline查詢處理,得到最終的Skyline查詢結(jié)果.3. 1結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS ;.3. 2結(jié)果分析處理程序合并所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,得到新數(shù)據(jù)集NS ;.3. 3初始化協(xié)調(diào)節(jié)點(diǎn)的Skyline集合GS=0;.3. 4結(jié)果分析處理程序?qū)S進(jìn)行Skyline查詢處理,即,判斷NS中的每個(gè)數(shù)據(jù)對(duì)象N_ DO與NS中所有其他數(shù)據(jù)對(duì)象之間的控制關(guān)系,如果丄00不被NS中任意一個(gè)其他數(shù)據(jù)對(duì)象所控制,那么將N_D0放入?yún)f(xié)調(diào)節(jié)點(diǎn)的Skyline集合GS中,S卩,GS = GS+{N_D0}; 3. 5結(jié)果分析處理程序?qū)kyline集合GS返回給用戶。
全文摘要
本發(fā)明公開了一種基于垂直劃分模式的分布并行Skyline查詢方法,目的是提出一種新的Skyline查詢方法,充分開發(fā)Skyline查詢處理的并行性,提高效率。技術(shù)方案是先構(gòu)建由一個(gè)協(xié)調(diào)節(jié)點(diǎn)和N個(gè)計(jì)算節(jié)點(diǎn)組成的分布并行計(jì)算環(huán)境,協(xié)調(diào)節(jié)點(diǎn)上安裝有任務(wù)調(diào)度程序和結(jié)果分析處理程序,計(jì)算節(jié)點(diǎn)上安裝有查詢處理程序;協(xié)調(diào)節(jié)點(diǎn)執(zhí)行任務(wù)調(diào)度程序,向各計(jì)算節(jié)點(diǎn)分發(fā)Skyline查詢處理任務(wù);各計(jì)算節(jié)點(diǎn)執(zhí)行查詢處理程序,接收來(lái)自協(xié)調(diào)節(jié)點(diǎn)的Skyline查詢處理任務(wù),并行進(jìn)行Skyline查詢處理;協(xié)調(diào)節(jié)點(diǎn)執(zhí)行結(jié)果分析處理程序收集所有計(jì)算節(jié)點(diǎn)的Skyline集合LS,并對(duì)其進(jìn)行Skyline查詢處理,得到最終的Skyline查詢結(jié)果。采用本發(fā)明可有效保證計(jì)算節(jié)點(diǎn)之間的負(fù)載均衡,既保證Skyline查詢結(jié)果的正確性又提高查詢效率。
文檔編號(hào)G06F17/30GK102323957SQ201110327359
公開日2012年1月18日 申請(qǐng)日期2011年10月26日 優(yōu)先權(quán)日2011年10月26日
發(fā)明者孫偉東, 李小勇, 王媛, 王意潔, 裴曉強(qiáng), 鄧瑞鵬, 馬行空 申請(qǐng)人:中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué)
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
汨罗市| 长兴县| 若羌县| 南溪县| 托里县| 开封市| 谷城县| 泗洪县| 巴彦淖尔市| 天镇县| 托克逊县| 揭阳市| 石渠县| 黄平县| 南丰县| 樟树市| 肥东县| 蓝山县| 商丘市| 卓资县| 龙泉市| 昌乐县| 监利县| 盐池县| 肇东市| 新沂市| 蚌埠市| 海口市| 郴州市| 潼南县| 东台市| 长春市| 芒康县| 乐东| 宣汉县| 沙洋县| 甘南县| 准格尔旗| 巧家县| 威信县| 法库县|