1，計(jì)算能力評(píng)分值為
[0046]以上幾個(gè)參數(shù)中:A、B的取值范圍為正整數(shù);K1、K2都為正數(shù)；
[0047]其中，每個(gè)分布式計(jì)算節(jié)點(diǎn)的信任度評(píng)分值為Κ1、以及計(jì)算能力評(píng)分值為Κ2都可獲知;所述信任度評(píng)分值為Κ1與該分布式計(jì)算節(jié)點(diǎn)的數(shù)據(jù)歷史訪問(wèn)情況有關(guān)，而計(jì)算能力評(píng)分值為Κ2與該計(jì)算能力評(píng)分值為Κ2的硬件計(jì)算能力有關(guān)；
[0048]所述參數(shù)Α、Β為調(diào)節(jié)參數(shù)，可以為常數(shù)，也可以根據(jù)實(shí)際需要進(jìn)行必要的調(diào)整。
[0049]步驟2.3.2:所述計(jì)算管理節(jié)點(diǎn)按照固定的時(shí)間間隔，以增量數(shù)據(jù)的方式將所述全局計(jì)算結(jié)果發(fā)送至云端。
[0050]可選地，所述步驟3包括以下步驟:
[0051 ]步驟3.1:數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器將從云端獲得的所述全局計(jì)算結(jié)果分為若干個(gè)獨(dú)立的數(shù)據(jù)塊，并記錄每個(gè)數(shù)據(jù)塊的容量，同時(shí)將所述數(shù)據(jù)塊依次按時(shí)間順序存儲(chǔ)到一個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)集合中，所述數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)集合包括Μ個(gè)獨(dú)立的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，即:數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)1、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)2、……、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν、……、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Μ;
[0052]步驟3.2:所述數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器將當(dāng)前數(shù)據(jù)塊存儲(chǔ)到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν后，數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν向數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器返回其剩余容量信息，當(dāng)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν的剩余容量信息小于下一個(gè)數(shù)據(jù)塊的容量時(shí)，轉(zhuǎn)發(fā)服務(wù)器開(kāi)始向數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν+1存儲(chǔ)數(shù)據(jù)塊;依次類推，直到全局計(jì)算結(jié)果全部存儲(chǔ)完成后結(jié)束;其中，NSM，且Μ、Ν都為正整數(shù)；
[0053]步驟3.3:用戶從云端的數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器將下載所述全局計(jì)算結(jié)果，所述全局計(jì)算結(jié)果即為所獲得的大數(shù)據(jù)資源。
[0054]可選地，，所述步驟4包括以下步驟:
[0055]步驟4.1:對(duì)下載的所述大數(shù)據(jù)資源的屬性進(jìn)行隨機(jī)采樣，得到多個(gè)大類數(shù)據(jù)集；
[0056]步驟4.2:對(duì)每個(gè)大類數(shù)據(jù)集的屬性進(jìn)行隨機(jī)采樣，得到多個(gè)小類數(shù)據(jù)集；
[0057]步驟4.3:對(duì)每個(gè)大類數(shù)據(jù)集進(jìn)行聚類分析，得到多個(gè)大類聚類結(jié)果及相應(yīng)的大類標(biāo)簽；
[0058]步驟4.4:對(duì)每個(gè)小類數(shù)據(jù)集進(jìn)行聚類分析，得到多個(gè)小類聚類結(jié)果及相應(yīng)的小類標(biāo)簽；
[0059]步驟4.5:輸出所述大類聚類結(jié)果及大類標(biāo)簽、小類聚類結(jié)果及小類標(biāo)簽，完成所述大數(shù)據(jù)資源的分類。
[0060]盡管以上詳細(xì)描述已經(jīng)示出、描述并指出應(yīng)用于多種實(shí)現(xiàn)的本公開(kāi)的基本新穎特征，但是將理解的是，本領(lǐng)域技術(shù)人員可以在不脫離本公開(kāi)的意圖的前提下，在系統(tǒng)的形式和細(xì)節(jié)中做出多種省略、替換和改變。此外，方法步驟在權(quán)利要求中出現(xiàn)的順序并不暗示方法步驟的順序。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)處理方法，其特征在于，包括以下步驟: 步驟1:接收用戶輸入的資源請(qǐng)求信息； 步驟2:根據(jù)所述資源請(qǐng)求信息，從云端獲得與所述資源請(qǐng)求信息相關(guān)的大數(shù)據(jù)資源； 步驟3:用戶從云端下載所獲得的大數(shù)據(jù)資源； 步驟4:對(duì)下載的所述大數(shù)據(jù)資源進(jìn)行分類； 步驟5:對(duì)分類后的大數(shù)據(jù)資源進(jìn)行存儲(chǔ)。2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理方法，其特征在于，所述步驟2包括以下步驟: 步驟2.1:由計(jì)算管理節(jié)點(diǎn)從云端獲取所述資源請(qǐng)求信息； 步驟2.2:所述計(jì)算管理節(jié)點(diǎn)指定多個(gè)分布式計(jì)算節(jié)點(diǎn)根據(jù)所述資源請(qǐng)求信息進(jìn)行分布式計(jì)算，使得每個(gè)分布式計(jì)算節(jié)點(diǎn)各自生成一個(gè)局部計(jì)算結(jié)果； 步驟2.3:所述計(jì)算管理節(jié)點(diǎn)將每個(gè)分布式計(jì)算節(jié)點(diǎn)的局部計(jì)算結(jié)果進(jìn)行整合，獲得一個(gè)全局計(jì)算結(jié)果，并將所述全局計(jì)算結(jié)果發(fā)送至云端。3.根據(jù)權(quán)利要求2所述的大數(shù)據(jù)處理方法，其特征在于，所述步驟2.3包括以下步驟: 步驟2.3.1:所述計(jì)算管理節(jié)點(diǎn)依據(jù)所述多個(gè)分布式計(jì)算節(jié)點(diǎn)的綜合評(píng)分值K，對(duì)每個(gè)分布式計(jì)算節(jié)點(diǎn)的各自的局部計(jì)算結(jié)果進(jìn)行排序，并將排序結(jié)果合并后去除重復(fù)數(shù)據(jù)和噪聲數(shù)據(jù)，得到全局計(jì)算結(jié)果； 其中，對(duì)于每個(gè)分布式計(jì)算節(jié)點(diǎn)，設(shè)其綜合評(píng)分值為K，信任度評(píng)分值為K1，計(jì)算能力評(píng)分值為 其中，A、B都是正整數(shù)，K1、K2都大于零； 步驟2.3.2:所述計(jì)算管理節(jié)點(diǎn)按照固定的時(shí)間間隔，以增量數(shù)據(jù)的方式將所述全局計(jì)算結(jié)果發(fā)送至云端。4.根據(jù)權(quán)利要求3所述的大數(shù)據(jù)處理方法，其特征在于，所述步驟3包括以下步驟: 步驟3.1:數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器將從云端獲得的所述全局計(jì)算結(jié)果分為若干個(gè)獨(dú)立的數(shù)據(jù)塊，并記錄每個(gè)數(shù)據(jù)塊的容量，同時(shí)將所述數(shù)據(jù)塊依次按時(shí)間順序存儲(chǔ)到一個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)集合中，所述數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)集合包括Μ個(gè)獨(dú)立的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，S卩:數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)1、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)2、……、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)N、……、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Μ; 步驟3.2:所述數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器將當(dāng)前數(shù)據(jù)塊存儲(chǔ)到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν后，數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν向數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器返回其剩余容量信息，當(dāng)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν的剩余容量信息小于下一個(gè)數(shù)據(jù)塊的容量時(shí)，轉(zhuǎn)發(fā)服務(wù)器開(kāi)始向數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)Ν+1存儲(chǔ)數(shù)據(jù)塊;依次類推，直到全局計(jì)算結(jié)果全部存儲(chǔ)完成后結(jié)束;其中，NSM，且Μ、Ν都為正整數(shù)； 步驟3.3:用戶從云端的數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器將下載所述全局計(jì)算結(jié)果，所述全局計(jì)算結(jié)果即為所獲得的大數(shù)據(jù)資源。5.根據(jù)權(quán)利要求4所述的大數(shù)據(jù)處理方法，其特征在于，所述步驟4包括以下步驟: 步驟4.1:對(duì)下載的所述大數(shù)據(jù)資源的屬性進(jìn)行隨機(jī)采樣，得到多個(gè)大類數(shù)據(jù)集； 步驟4.2:對(duì)每個(gè)大類數(shù)據(jù)集的屬性進(jìn)行隨機(jī)采樣，得到多個(gè)小類數(shù)據(jù)集； 步驟4.3:對(duì)每個(gè)大類數(shù)據(jù)集進(jìn)行聚類分析，得到多個(gè)大類聚類結(jié)果及相應(yīng)的大類標(biāo)簽； 步驟4.4:對(duì)每個(gè)小類數(shù)據(jù)集進(jìn)行聚類分析，得到多個(gè)小類聚類結(jié)果及相應(yīng)的小類標(biāo)簽； 步驟4.5:輸出所述大類聚類結(jié)果及大類標(biāo)簽、小類聚類結(jié)果及小類標(biāo)簽，完成所述大數(shù)據(jù)資源的分類。
【專利摘要】本發(fā)明公開(kāi)了一種大數(shù)據(jù)處理方法。該方法根據(jù)接收的用戶輸入的資源請(qǐng)求信息，從云端獲得與所述資源請(qǐng)求信息相關(guān)的大數(shù)據(jù)資源；并從云端下載所獲得的大數(shù)據(jù)資源；再對(duì)下載的大數(shù)據(jù)資源進(jìn)行分類以及數(shù)據(jù)存儲(chǔ)。本發(fā)明的方法可以使用戶能夠及時(shí)、有效地獲得所需的大數(shù)據(jù)資源；并能夠進(jìn)行有效的數(shù)據(jù)分析和處理。
【IPC分類】G06F17/30
【公開(kāi)號(hào)】CN105468676
【申請(qǐng)?zhí)枴緾N201510780656
【發(fā)明人】毛力
【申請(qǐng)人】四川九成信息技術(shù)有限公司
【公開(kāi)日】2016年4月6日
【申請(qǐng)日】2015年11月13日